Hadoop,Hbase启动及用web查看hadoop运行状态

2024-01-19 12:08

本文主要是介绍Hadoop,Hbase启动及用web查看hadoop运行状态,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一 启动顺序(对前面安装文档做个总结)

1 启动hadoop:bin/start-dfs.sh(注意:第一次启动hadoop之前必须namenode -format),启动完成后,使用jps命令查看:

Master上有两个进程:namenode和secondarynamenode

slave上有一个进程:datanode

2 启动yarn:bin/start-yarn.sh,启动完成后,使用jps命令查看:

Master上又启动了一个新进程:resourcemanager

slave上又启动了一个新进程:nodemanageer

3 启动zookeeper:bin/zkServer.sh start(Master和slave上都要启动,第一步和第二步只在Master上启动即可),启动完成后,使用jps命令查看:

Master和slave上又多了一个新进程:quorunpeermain

4 启动Hbase:bin/start-hbase.sh,启动完成后,使用jps命令查看:

Master上多了一个进程:HMaster

slave上多了一个进程:HRegionserver

至此,启动完成,可以进入Hbase shell,建表,添加数据等操作,关于Hbase shell命令,可以参考下一篇博客


二使用web查看hadoop的运行状态

查看HDFS集群状态,访问如下地址:http://master:50070

2 查看web控制台状态:http://master:8088(yarn.resourcemanager.webapp.address)

3 查看HBase的状态:http://localhost:60010

对于hadoop2.2.0,只发现了上述两个web地址,可能还有其他的,hadoop1.x和hadoop0.20.x的web地址对应的端口可能不太一样,也可能和配置文件有关,可以参考下面这篇博客(http://blog.csdn.net/weixuehao/article/details/16847349)(针对hadoop1.x)

上一篇文章(去博客园,去CSDN),我们安装完hadoop,下面我们从视觉上看看hadoop怎么玩的。 

我们可以在win7系统上,通过web界面,在浏览器地址栏输入地址,直接查看hadoop的运行情况;

 

10.10.11.191:50030

这个里面,我们可以看到Map/Reduce的管理情况

 

 

10.10.11.191:50070

这里可以看到HDFS的管理情况。

 

但是在这里,会有一个问题。

问题点击上图中,红框锁定的链接,Browser the filesystem,打不开界面。这是什么情况呢?

 

点击Live Nodes,进入如下界面:

点击host2,同样打不开界面……

host2对应的ip为10.10.11.192

而链接地址为host2:50070/browseDirectory.jsp?namenodeInfoPort=50070&dir=%2F

直接访问的host2主机地址。

 

很明显,出现这种状况的原因是win7电脑,并不知道host2是谁,所以需要在win7电脑的hosts文件中,添加上host2,host3,host4,master主机和ip地址的映射

win7系统,hosts文件位置:C:\Windows\System32\drivers\etc

在win7电脑上,添加完hosts配置,我们就可以解决上面的问题了。host2也就可以访问了。如下

 

去我的博客园博客浏览: http://www.cnblogs.com/laov/p/3433994.html


关于查看hadoop集群上的web界面以及和hadoop有关的中文文档,可以参考:

http://docs.aws.amazon.com/zh_cn/ElasticMapReduce/latest/DeveloperGuide/emr-manage-view-web-interfaces.html

http://docs.aws.amazon.com/zh_cn/ElasticMapReduce/latest/DeveloperGuide/emr-hadoop-2.2.0-features.html

这篇关于Hadoop,Hbase启动及用web查看hadoop运行状态的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/622373

相关文章

Mysql实现范围分区表(新增、删除、重组、查看)

《Mysql实现范围分区表(新增、删除、重组、查看)》MySQL分区表的四种类型(范围、哈希、列表、键值),主要介绍了范围分区的创建、查询、添加、删除及重组织操作,具有一定的参考价值,感兴趣的可以了解... 目录一、mysql分区表分类二、范围分区(Range Partitioning1、新建分区表:2、分

如何使用Maven创建web目录结构

《如何使用Maven创建web目录结构》:本文主要介绍如何使用Maven创建web目录结构的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录创建web工程第一步第二步第三步第四步第五步第六步第七步总结创建web工程第一步js通过Maven骨架创pytho

Java Web实现类似Excel表格锁定功能实战教程

《JavaWeb实现类似Excel表格锁定功能实战教程》本文将详细介绍通过创建特定div元素并利用CSS布局和JavaScript事件监听来实现类似Excel的锁定行和列效果的方法,感兴趣的朋友跟随... 目录1. 模拟Excel表格锁定功能2. 创建3个div元素实现表格锁定2.1 div元素布局设计2.

如何使用Haporxy搭建Web群集

《如何使用Haporxy搭建Web群集》Haproxy是目前比较流行的一种群集调度工具,同类群集调度工具有很多如LVS和Nginx,本案例介绍使用Haproxy及Nginx搭建一套Web群集,感兴趣的... 目录一、案例分析1.案例概述2.案例前置知识点2.1 HTTP请求2.2 负载均衡常用调度算法 2.

k8s上运行的mysql、mariadb数据库的备份记录(支持x86和arm两种架构)

《k8s上运行的mysql、mariadb数据库的备份记录(支持x86和arm两种架构)》本文记录在K8s上运行的MySQL/MariaDB备份方案,通过工具容器执行mysqldump,结合定时任务实... 目录前言一、获取需要备份的数据库的信息二、备份步骤1.准备工作(X86)1.准备工作(arm)2.手

nginx启动命令和默认配置文件的使用

《nginx启动命令和默认配置文件的使用》:本文主要介绍nginx启动命令和默认配置文件的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录常见命令nginx.conf配置文件location匹配规则图片服务器总结常见命令# 默认配置文件启动./nginx

Nexus安装和启动的实现教程

《Nexus安装和启动的实现教程》:本文主要介绍Nexus安装和启动的实现教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Nexus下载二、Nexus安装和启动三、关闭Nexus总结一、Nexus下载官方下载链接:DownloadWindows系统根

Windows的CMD窗口如何查看并杀死nginx进程

《Windows的CMD窗口如何查看并杀死nginx进程》:本文主要介绍Windows的CMD窗口如何查看并杀死nginx进程问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录Windows的CMD窗口查看并杀死nginx进程开启nginx查看nginx进程停止nginx服务

Java中实现线程的创建和启动的方法

《Java中实现线程的创建和启动的方法》在Java中,实现线程的创建和启动是两个不同但紧密相关的概念,理解为什么要启动线程(调用start()方法)而非直接调用run()方法,是掌握多线程编程的关键,... 目录1. 线程的生命周期2. start() vs run() 的本质区别3. 为什么必须通过 st

Oracle修改端口号之后无法启动的解决方案

《Oracle修改端口号之后无法启动的解决方案》Oracle数据库更改端口后出现监听器无法启动的问题确实较为常见,但并非必然发生,这一问题通常源于​​配置错误或环境冲突​​,而非端口修改本身,以下是系... 目录一、问题根源分析​​​二、保姆级解决方案​​​​步骤1:修正监听器配置文件 (listener.