本文主要是介绍摸鱼大数据——Linux搭建大数据环境(Hadoop集群的启动和Hadoop shell命令)三，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
hadoop集群启动
要启动Hadoop集群，其实就是启动HDFS和YARN两个集群
① 数据初始化
首次启动HDFS必须对其进行格式化操作 : 本质是清理和准备工作,因为此时的HDFS在物理上还是不存在的
注意： 初始化操作必须在node1中执行
[root@node1 ~]# hdfs namenode -format
②单节点逐个启动[了解]
启动HDFS集群
-
在主节点上使用以下命令启动HDFS NameNode
[root@node1 ~]# hdfs --daemon start namenode
-
在每个从节点上使用以下命令启动HDFS DataNode
[root@node2 ~]# hdfs --daemon start datanode
[root@node3 ~]# hdfs --daemon start datanode
-
node2上使用以下命令启动HDFS SecondaryNameNode
[root@node2 ~]# hdfs --daemon start secondarynamenode
启动YARN集群
-
在主节点上使用以下命令启动YARN ResourceManager
[root@node1 ~]# yarn --daemon start resourcemanager
-
在每个从节点上使用以下命令启动YARN nodemanager
[root@node2 ~]# yarn --daemon start nodemanager
[root@node3 ~]# yarn --daemon start nodemanager
注意: 如果想要停止某个节点上某个角色，只需要把命令中的start改为stop即可
③单个集群启动和关闭
[root@node1 ~]# stop-dfs.sh [root@node1 ~]# stop-yarn.sh [root@node1 ~]# start-dfs.sh [root@node1 ~]# start-yarn.sh
④jps查看进程
jps是jdk提供的一个查看当前java进程的小工具， 全称是JavaVirtual Machine Process Status Tool
[root@node1 ~]# jps [root@node2 ~]# jps [root@node3 ~]# jps
⑤一键启动和关闭
如果配置了etc/hadoop/workers和ssh免密登录,则可使用脚本一键操作Hadoop两个集群的相关进程，在主节点所设定的机器上执行
[root@node1 ~]# stop-all.sh [root@node1 ~]# start-all.sh
⑥启动jobHistory服务
JobHistory用来记录已经finished的mapreduce运行日志，日志信息存放于HDFS目录中
[root@node1 ~]# mapred --daemon start historyserver
hadoop shell基础命令
[root@node1 ~]# hdfs dfs -ls / [root@node1 ~]# hdfs dfs -mkdir /binzi [root@node1 ~]# hdfs dfs -touch /binzi/1.txt /binzi/2.txt [root@node1 ~]# hdfs dfs -ls /binzi [root@node1 ~]# hdfs dfs -mv /binzi /binzi2 [root@node1 ~]# hdfs dfs -cp /binzi2 /binzi3 [root@node1 ~]# echo hello binzi > a.txt [root@node1 ~]# hdfs dfs -put /root/a.txt /binzi [root@node1 ~]# hdfs dfs -cat /binzi/a.txt [root@node1 ~]# hdfs dfs -get /binzi/a.txt / [root@node1 ~]# hdfs dfs -rm /binzi/2.txt [root@node1 ~]# hdfs dfs -rm -r /binzi [root@node1 ~]# hdfs dfs -ls / [root@node1 ~]# hdfs dfs 回车
这篇关于摸鱼大数据——Linux搭建大数据环境(Hadoop集群的启动和Hadoop shell命令)三的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
