本文主要是介绍python 实现Hadoop的partitioner和二次排序，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
我们知道，一个典型的Map-Reduce过程包 括：Input->Map->Patition->Reduce->Output。Pation负责把Map任务输出的中间结果 按key分发给不同的Reduce任务进行处理。Hadoop 提供了一个非常实用的partitioner类KeyFieldBasedPartitioner，通过配置相应的参数就可以使用。通过 KeyFieldBasedPartitioner可以方便地实现二次排序。
使用方法：
-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner
一般配合：
-D map.output.key.field.separator及-D num.key.fields.for.partition使用。
map.output.key.field.separator指定key内部的分隔符
num.key.fields.for.partition指定对key分出来的前几部分做partition而不是整个key
示例：
1. 编写map程序mapper.sh；reduce程序reducer.sh; 测试数据test.txt
view plain
mapper.sh:
!/bin/sh cat
reducer.sh:
!/bin/sh sort
test.txt内容：
1,2,1,1,1
1,2,2,1,1
1,3,1,1,1
1,3,2,1,1
1,3,3,1,1
1,2,3,1,1
1,3,1,1,1
1,3,2,1,1
1,3,3,1,1
- 测试数据test.txt放入hdfs，运行map-reduce程序
view plain
$ hadoop streaming /
-D stream.map.output.field.separator=, /
-D stream.num.map.output.key.fields=4 /
-D map.output.key.field.separator=, /
-D num.key.fields.for.partition=2 /
-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner /
-input /app/test/test.txt /
-output /app/test/test_result /
-mapper ./mapper.sh /
-reducer ./reducer.sh /
-file mapper.sh /
-file reducer.sh /
-jobconf mapre.job.name=”sep_test”
$ hadoop fs –cat /app/test/test_result/part-00003
1,2,1,1 1
1,2,2,1 1
1,2,3,1 1
$ hadoop fs –cat /app/test/test_result/part-00004
1,3,1,1 1
1,3,1,1 1
1,3,2,1 1
1,3,2,1 1
1,3,3,1 1
1,3,3,1 1
通过这种方式，就做到前4个字段是key，但是通过前两个字段进行partition的目的
注意：
-D map.output.key.field.separator=, /
这个分隔符使用TAB键貌似不管用
Hadoop Streaming 是一个工具， 代替编写Java的实现类，而利用可执行程序来完成map-reduce过程
工作流程 ：
InputFile –> mappers –> [Partitioner] –> reducers –> outputFiles
理解 :
1 输入文件，可以是指定远程文件系统内的文件夹下的 *
2 通过集群自己分解到各个PC上，每个mapper是一个可执行文件，相应的启动一个进程，来实现你的逻辑
3 mapper 的输入为标准输入，所以，任何能够支持标准输入的可执行的东西，c,c++(编译出来的可执行文件),python,……都可以作 为mapper 和 reducer mapper的输出为标准输出，如果有Partitioner,就给它，如果没有，它的输出将作为reducer的输入
4 Partitioner 为可选的项，二次排序，可以对结果进行分类打到结果文件里面,它的输入是mapper的标准输出，它的输出，将作为reducer的标准输入
5 reducer 同 mapper
6 输出文件夹，在远端文件不能重名
Hadoop Streaming
1 ： hadoop-streaming.jar 的位置 ： $HADOOP_HOME/contrib/streaming 内
官方上面关于hadoop-streaming 的介绍已经很详细了，而且也有了关于python的例子，我就不说了,这里总结下自己的经验
1 指定 mapper or reducer 的 task 官方上说要用 -jobconf 但是这个参数已经过时，不可以用了，官方说要用 -D, 注意这个-D是要作为最开始的配置出现的，因为是在maper 和 reducer 执行之前，就需要硬性指定好的，所以要出现在参数的最前面 ./bin/hadoop jar hadoop-0.19.2-streaming.jar -D ………-input …….. 类似这样，这样，即使你程序最后只指定了一个输出管道，但是还是会有你指定的task数量的结果文件，只不过多余的就是空的 实验以下 就知道了
2 关于二次排序，由于是用的streaming 所以，在可执行文件内，只能够处理逻辑，还有就是输出，当然我们也可以指定二次排序，但是由于是全部参数化，不是很灵活。比如:
10.2.3.40 1
11.22.33.33 1
www.renren.com 1
www.baidu.com 1
10.2.3.40 1
这样一个很规整的输入文件，需求是要把记录独立的ip和url的count 但是输出文件要分分割出来。
官方网站的例子，是指定 key 然后对key 指定 主-key 和 key 用来排序，而 主-key 用来二次排序，这样会输出你想要的东西， 但是对于上面最简单的需求，对于传递参数，我们如何做呢?
其实我们还是可以利用这一点，在我们mapper 里面，还是按照/t来分割key value 但是我们要给key指定一个主-key 用来给Partitioner 来实现二次排序，所以我们可以稍微处理下这个KEY,我们可以简单的判断出来ip 和 url 的区别，这样，我们就人为的加上一个主-key 我们在mapper里面，给每个key人为的加上一个”标签”，用来给partitioner做 二次排序用，比如我们的mapper的输出是这样
D&10.2.3.40 1
D&11.22.33.33 1
W&www.renren.com 1
W&www.baidu.com 1
D&10.2.3.40 1
然后通过传递命令参数
-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner //指定要求二次排序
-jobconf map.output.key.field.separator=’&’ //这里如果不加两个单引号的话我的命令会死掉
-jobconf num.key.fields.for.partition=1 //这里指第一个 & 符号来分割，保证不会出错
这样我们就可以通过 partitioner 来实现二次排序了
在reducer里面，我们再把”标签”摘掉(不费吹灰之力)就可以做到悄无声息的完成二次排序了。
这篇关于python 实现Hadoop的partitioner和二次排序的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
