HDFS
MR
HIVE
HIVE
HIve自己本身没有数据，分析的时候通过MR，直接存取数据的时候直接从HDFS来
HIve元数据存储在关系型数据库中 元数据指的是文件行列和关系型数据库的映射
元数据是用来翻译sql语句的 HIVE可以看做HDFS的客户端
hive可以看做是hdfs的一个客户端
Hive:数据仓库。
Hive：解释器，编译器，优化器等。
Hive运行时，元数据存储在关系型数据库里面
Sql实际上是类sql语句也叫做hql HIve query language
帮助文档：
使用步骤：
启动hadoop集群：
首先启动ZK /usr/zookeeper-3.4.6/bin/zkServer.sh start
启用所有：start-all.sh
启用备份resourcemanager：
yarn-daemon.sh start resourcemanager
安装一个关系型数据库
（mysql）：yum install mysql-server
查看是否安装： rpm –qa
grep mysql
卸载：rpm -e mysql-server-5.1.73-5.el6_6.x86_64
启动mysql服务：service mysqld start 默认是： service mysql start
创建用户：mysql> grant all on *.* to bob@% identified by 123456 %指允许远程
如果创建允许本地登录的用户，则是：
mysql> grant all on *.* to root@localhost identified by 123456
远程用户登录：mysql -uroot -p123456
显示所有可用数据库：mysql> show databases
切换数据库：use mysql
线束所有表：show tables
解压安装包
tar -zxvf apache-hive-1.2.1-bin.tar.gz
配置环境变量：
export HIVE_HOME=/usr/apache-hive-1.2.1-bin
export PATH=$PATH:$HIVE_HOME/bin
更新hadoopjar包：
先删除
rm -rf /usr/hadoop-2.5.1/share/hadoop/yarn/lib/jline-0.9.94.jar 搜索： find ./ -name jline*.jar
再拷贝：
cp-a/home/apache-hive-1.2.1-bin/lib/jline-2.12.jar/home/hadoop-2.5.2/share/hadoop/yarn/lib/
拷贝mysql的驱动
cp -a mysql-connector-java-5.1.32-bin.jar /usr/apache-hive-1.2.1-bin/lib/
hive-site.xml配置：
5、重命名conf下hive-default.xml.template 为hive-site.xml
注意：如果自己提前创建了数据库，mysql数据库的字符集为latin1
修改system:java.io.tmpdir 的目录变成一个绝对路径
便捷操作：启用vi搜索快速定位需要修改的地方 /ConnectionURl
修改system:java.io.tmpdir 的目录变成一个绝对路径时候快速替换
:1,$s/${system:user.name}/hive
1,$s/${system:java.io.tmpdir}//tmp
运行CLI
需要先打开关系型数据库的服务 service mysqld start
hive
文件默认放在：/user/hive/warehouse 建表后可见
建表：
文件样式：
123,CJH,baseball-pingpang-run,{pro:HB}-{city:HS}
文件映射：
将本地文件映射成一张表：
将hdfs中的文件映射成一张表
partitoin 分目录
可以将不同数据存放在不同目录中，加快查询速度
建表语句：
文件导入：
查询：
开启hiveServer
开启服务以后，就可以通过JDBC链接hive，实现编程处理
注意：平时开启这个服务时候先开启数据库的服务
开启服务
bin下 ./hiveserver2 &>>/tmp/hive.log &
查看hiveServer 是否监听10000端口
netstat -ntpl
grep java
grep 10000
测试客户端
p
打开客户端 beeline
连接数据库
node2是hive所在的机器
!connect jdbc:hive2://localhost:10000/default;
输入用户名，不用输入密码
java代码：
HQL脚本有三种方式执行
1、 hive –e hql
2、 hive -f hql.file
3、 hive jdbc 代码执行脚本
hive有两种函数：UDF，UDAF
1、 UDF:输入数据为一条数据，输出数据也为一条数据，
2、 UDAF:输入数据为多好数据。Count聚合函数。Avg,min,
自定义udf：
写个类，打成jar
add jar /root/udf.jar
CREATE TEMPORARY FUNCTION my_date_format AS com.cjh. Upper;
CREATE FUNCTION my_date_format2 AS com.cjh.Upper USING JAR hdfs://laoxiao/usr/udf.jar
java代码：
分临时的和永久的udf 永久的udf需要上传到hdfs中
JAVA代码
示例
查询掉话率最高的前10个基站编号
相关字段
record_time：通话时间
imei：基站编号
call_num 拨号次数
drop_num 掉话次数
掉话率=掉话次数/拨号次数
建表：
导入文件
sql语句
基本Hql语句集合
#通过参数hive.cli.print.header可以控制在cli中是否显示表的列名
set hive.cli.print.header=true;
CREATE TABLE page_view(viewTime INT, userid BIGINT,
page_url STRING, referrer_url STRING,
ip STRING COMMENT IP Address of the User)
COMMENT This is the page view table
PARTITIONED BY(dt STRING, country STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY \001
STORED AS SEQUENCEFILE; TEXTFILE
//sequencefile
create table tab_ip_seq(id int,name string,ip string,country string)
row format delimited
fields terminated by ,
stored as sequencefile;
insert overwrite table tab_ip_seq select * from tab_ext;
//create & load
create table tab_ip(id int,name string,ip string,country string)
row format delimited
fields terminated by ,
stored as textfile;
load data local inpath /home/hadoop/ip.txt into table tab_ext;
//external
CREATE EXTERNAL TABLE tab_ip_ext(id int, name string,
ip STRING,
country STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ,
STORED AS TEXTFILE
LOCATION /external/hive;
// CTAS 用于创建一些临时表存储中间结果
CREATE TABLE tab_ip_ctas
AS
SELECT id new_id, name new_name, ip new_ip,country new_country
FROM tab_ip_ext
SORT BY new_id;
//insert from select 用于向临时表中追加中间结果数据
create table tab_ip_like like tab_ip;
insert overwrite table tab_ip_like
select * from tab_ip;
//CLUSTER <--相对高级一点，你可以放在有精力的时候才去学习>
create table tab_ip_cluster(id int,name string,ip string,country string)
clustered by(id) into 3 buckets;
load data local inpath /home/hadoop/ip.txt overwrite into table tab_ip_cluster;
set hive.enforce.bucketing=true;
insert into table tab_ip_cluster select * from tab_ip;
select * from tab_ip_cluster tablesample(bucket 2 out of 3 on id);
//PARTITION
create table tab_ip_part(id int,name string,ip string,country string)
partitioned by (part_flag string)
row format delimited fields terminated by ,;
load data local inpath /home/hadoop/ip.txt overwrite into table tab_ip_part
partition(part_flag=part1);
load data local inpath /home/hadoop/ip_part2.txt overwrite into table tab_ip_part
partition(part_flag=part2);
select * from tab_ip_part;
select * from tab_ip_part where part_flag=part2;
select count(*) from tab_ip_part where part_flag=part2;
alter table tab_ip change id id_alter string;
ALTER TABLE tab_cts ADD PARTITION (partCol = dt) location /external/hive/dt;
show partitions tab_ip_part;
//write to hdfs
insert overwrite local directory /home/hadoop/hivetemp/test.txt select * from tab_ip_part where part_flag=part1;
insert overwrite directory /hiveout.txt select * from tab_ip_part where part_flag=part1;
//array
create table tab_array(a array<int>,b array<string>)
row format delimited
fields terminated by \t
collection items terminated by ,;
示例数据
tobenbrone,laihama,woshishui 13866987898,13287654321
abc,iloveyou,itcast 13866987898,13287654321
select a[0] from tab_array;
select * from tab_array where array_contains(b,word);
insert into table tab_array select array(0),array(name,ip) from tab_ext t;
//map
create table tab_map(name string,info map<string,string>)
row format delimited
fields terminated by \t
collection items terminated by ;
map keys terminated by :;
示例数据：
fengjieage:18;size:36A;addr:usa
furong age:28;size:39C;addr:beijing;weight:180KG
load data local inpath /home/hadoop/hivetemp/tab_map.txt overwrite into table tab_map;
insert into table tab_map select name,map(name,name,ip,ip) from tab_ext;
//struct
create table tab_struct(name string,info struct<age:int,tel:string,addr:string>)
row format delimited
fields terminated by \t
collection items terminated by ,
load data local inpath /home/hadoop/hivetemp/tab_st.txt overwrite into table tab_struct;
insert into table tab_struct select name,named_struct(age,id,tel,name,addr,country) from tab_ext;
//cli shell
hive -S -e select country,count(*) from tab_ext > /home/hadoop/hivetemp/e.txt
有了这种执行机制，就使得我们可以利用脚本语言（bash shell,python）进行hql语句的批量执行
select * from tab_ext sort by id desc limit 5;
select a.ip,b.book from tab_ext a join tab_ip_book b on(a.name=b.name);
//UDF
select if(id=1,first,no-first),name from tab_ext;
hive>add jar /home/hadoop/myudf.jar;
hive>CREATE TEMPORARY FUNCTION my_lower AS org.dht.Lower;
select my_upper(name) from tab_ext;
