详解 WordCount 运行后历史日志记录

本文主要是介绍详解 WordCount 运行后历史日志记录，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在《Hadoop-2.5.0-cdh5.3.2 HA 安装》一文中我们已经详细讲述了如何搭建 HA 模式，同时最后还演示了运行其自带的 wordcount 程序，详情请参考运行 Hadoop自带 wordcount 程序。先简要回顾下：

一 Hadoop 日志基本概念
- 1 运行 wordcount 程序
- 2 控制台输出结果
二 Hadoop History 服务器网页详解
- 1 ResourceManager Web 界面
- 2 application 界面
- 3 Job Overview 界面
- 4 小结
三 Hadoop 任务运行日志 Container 日志收集过程详解
四 Hadoop 作业日志收集过程详解
- 1 步骤一启动作业的 ApplicationMaster 并写日志至 HDFS
- 2 步骤二HDFS 内转移历史运行日志
- 3 步骤三周期转移 done_intermediate 中的日志文件到 done 目录
- 4 概念拓展

一. Hadoop 日志基本概念

1. Hadoop 系统服务日志

2. Mapreduce 程序日志

作业运行日志
任务运行日志 (Container 日志)

其中需要我们关注容易混淆的概念：

Mapreduce 程序日志 的查看是需要开启 历史日志服务器 后才能查看到
其中 日志聚集 功能是针对 任务运行日志 (Container 日志) 而言的！

更多关于Hadoop 日志原理以及相应配置请参考：http://blog.csdn.net/u011414200/article/details/50338073

1.1 运行 wordcount 程序

已经启动了必需的各项进程：namenode、datanode、resourcemanager、nodemanager、JobHistoryServer 等
确保当前 hdfs 不处于安全模式

hdfs dfsadmin -safemode leave

确保已经在 HDFS 中创建了相关目录 /data/wordcount 、/output ，以下 /tmp 及其以下目录是启动 JobHistoryServer 后系统自动生成的
上传了测试数据集 slaves

hadoop fs -put /usr/local/cluster/hadoop/etc/hadoop/slaves /data/wordcount/

cd /usr/local/cluster/hadoop/share/hadoop/mapreduce 
hadoop jar hadoop-mapreduce-examples-2.5.0-cdh5.3.2.jar wordcount /data/wordcount /output/wordcount

1.2 控制台输出结果

15/12/22 00:30:36 INFO input.FileInputFormat: Total input paths to process : 1
15/12/22 00:30:37 INFO mapreduce.JobSubmitter: number of splits:1
15/12/22 00:30:37 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1450714294593_0001
15/12/22 00:30:37 INFO impl.YarnClientImpl: Submitted application application_1450714294593_0001
15/12/22 00:30:37 INFO mapreduce.Job: The url to track the job: http://master5:8088/proxy/application_1450714294593_0001/
15/12/22 00:30:37 INFO mapreduce.Job: Running job: job_1450714294593_0001
15/12/22 00:30:43 INFO mapreduce.Job: Job job_1450714294593_0001 running in uber mode : false
15/12/22 00:30:43 INFO mapreduce.Job:  map 0% reduce 0%
15/12/22 00:30:49 INFO mapreduce.Job:  map 100% reduce 0%
15/12/22 00:31:04 INFO mapreduce.Job:  map 100% reduce 100%
15/12/22 00:31:05 INFO mapreduce.Job: Job job_1450714294593_0001 completed successfully
15/12/22 00:31:05 INFO mapreduce.Job: Counters: 49File System CountersFILE: Number of bytes read=48FILE: Number of bytes written=212385FILE: Number of read operations=0FILE: Number of large read operations=0FILE: Number of write operations=0HDFS: Number of bytes read=125HDFS: Number of bytes written=30HDFS: Number of read operations=6