hive实现手机上网流量和美国ncdc1991年到1992的各年的最高气温统计

 一、手机上网流量统计

学了这么长的hive的最近打算统计一些hadoop权威指南的一个案例之前使用hadoop的MapReduce写的可以说是很难受了，现在用hive实现一遍，首先我们先实现一个简单的手机上网流量统计，如下是我们的数据是一个5万行的纯文本信息

 1，这里是用外机的notepad++打开的，我们使用xftp软件直接考到虚拟机的had用户目录下flowrec.txt

 2，进入hive里:

    我们先来分析:我们一共要建一个有5个字段的表，分别是 nid,ntime,phone,up(上传流量使用),down(下载流量使用)，每个字段的以\t分隔，每行以\n分隔,里面没有复杂类型所以不需要对复杂类型切割，那么我们开始建表加数据了

 3，建表加数据

建表
create table mobile_c(
nid int,
ntime string,
phone string,
up int,
down int
)
row format delimited
fields terminated by "\t"
lines terminated by "\n"
stored as textfile;填数据
load data local inpath '/home/had/flowrec.txt' into table mobile;

4,当然就是写sql了

首先我们统计手机上网流量肯定要以手机号分组，然后对每个手机号的长传流量和下载流量进行求和就完事了，如果想看看那个手机号用的下载流量或者上传流量多可以进行排序1，select phone,sum(up) as up,sum(down) as down from mobile_c group by phone;2，select phone,sum(up) as up,sum(down) as down from mobile_c group by phone order by down或者up;

我这里是没有排序的结果（是不是很简单啊）:

phone    up    down
13800138000    641903    51316183
13900139000    641351    51851138
14501006577    644965    51528781
17700234987    638369    51322483
18900234567    630317    50032125
 

2，美国气温统计最高气温

这个可以说不说很难，但这个数据看着就是很头大，因为他每行字段只有一个，而且我们还要寻找一些有价值的信息就很耽误时间了，尽管他只有几千行数据

 1，讨论一些怎么建表，我们要建立一个表中的字段只有一个，字段的分隔符就没有或者说指定一个当前字段没有的分隔符以免他切割有误，行的话还是\t，但我们需要在每个字段中找少年份和对应的气温，还有空气指标，在这里我就直接把他们的位置说出来，要是不信的话同志们也可以在上面图片一个个数，年份是在每个字段的16的位置，月份是20，天在22，气温在88的位置，空气指标在93的位置

2，建表加数据

建表:
create table ncdc(
data string
)
row format delimited
fields terminated by "\t"
lines terminated by "\n"加数据:
load data local inpath '/home/had/*.gz' into table ncdc;
hive他内部的文件编码器会自动识别，我们这里只gz文件

3，写sql语句

1，首先我们需要的信息都在一个字段中，所有我们采用hive内置的substr()函数来切割这个字段的数据，刚才我们已经说了我们所需要的数据 现在先将数据查询出来:
select substr(data,16,4) as year,substr(data,20,2) as month,substr(data,22,2) as day,substr(data,88,5),substr(data,93,1)from ncdc limit 100;
结果我就显示10行year	month	day	_c3	_c4
1901	01	01	-0078	1
1901	01	01	-0072	1
1901	01	01	-0094	1
1901	01	02	-0061	1
1901	01	02	-0056	1
1901	01	02	-0028	1
1901	01	03	-0067	1
1901	01	03	-0033	1
1901	01	03	-0028	1
1901	01	04	-0033	12，我们可以发现，他每天统计上次气温，应该是早中晚，但这个天气是不是看着不舒服，就是使用cast函数来转换类型
select substr(data,16,4) as year,substr(data,20,2) as month,substr(data,22,2) as day,cast(substr(data,88,5),int),substr(data,93,1)from ncdc limit 100;
year	month	day	_c3	_c4
1901	01	01	-78	1
1901	01	01	-72	1
1901	01	01	-94	1
1901	01	02	-61	1
1901	01	02	-56	1
1901	01	02	-28	1
1901	01	03	-67	1
1901	01	03	-33	1
1901	01	03	-28	1
1901	01	04	-33	1
这样是不是就清晰多了
3，但是在机器上有的数据是9999意味着他的气候不可定，所以我们索性把他去掉于是我们进一步修改我们的代码
select substr(data,16,4) as year,substr(data,20,2) as month,substr(data,22,2) as day,cast(substr(data,88,5)as int),substr(data,93,1)from ncdc where cast(substr(data,88,5) as int)!=9999 limit 100;
具体数据前10条还是原来的记录，但9999数据已经抹去，只是在这里不能体现而已
4，还有空气指标假如官方规定必须是01459，这个对于大家应该没什么难度我们可以使用in过滤也可以使用rlike函数进行正则表达式来过滤到最后面我会体现给大家
5，现在我们就开始最后的统计最高气温了只需要用年份来分组获取最大气温即可这里我们使用的是嵌套子查询
所有就直接省略掉月和天了
select a.year ,max(a.qw) from (select substr(data,16,4) year,cast(substr(data,88,5) as int) qw,substr(data,93,1) from ncdc  where cast(substr(data,88,5) as int)!=9999  and substr(data,93,1) rlike '[01459]' ) a group by a.year;
结果:
a.year	_c1
1902	244
1901	317
我们就成功的统计出来了