CDH5.x 安装问题集锦

2024-06-12 19:08
文章标签 问题 安装 集锦 cdh5

本文主要是介绍CDH5.x 安装问题集锦,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!




CDH 5.X  无法连接到 mysql 5.6




安装日志报错:



网上查到:




自己解决办法:

想到是因为自己要安装mysql,卸载了系统自带的,卸载了。所以,可能把该文件给删除了。就从其他节点,查询这个文件。libmysqlclient.so.18  

果然可以查询到。



然后


vi /etc/ld.so.conf

后面增加一条记录:
/usr/lib64/mysql 

保存后执行命令使之生效:ldconfig  




You need to use one of the following commands. Which one depends on what OS and software you have and use.

  1. easy_install mysql-python (mix os)
  2. pip install mysql-python (mix os)
  3. apt-get install python-mysqldb (Linux Ubuntu, ...)
  4. cd /usr/ports/databases/py-MySQLdb && make install clean (FreeBSD)
  5. yum install MySQL-python (Linux Fedora, CentOS ...)

For Windows, see this answer: Install mysql-python (Windows)



上述方法仍没法解决:

越过了HUE的安装步骤,待CDH集群全部搭建完毕后,再单独进行HUE的安装。(后来,重新卸载了 主机的 python,自己重新装了python,就可以了)





查看安装日志,了解到:


可能是软件的问题
apt-get install python-libxslt1

如还不能解决,尝试下面安装
sudo yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel



重装了 python ,就可以了。看来是系统自带的python  缺少一些包。



问题三:CDH安装Hive 和 Oozie 过程中,找不到 jdbc驱动




解决方案:

安装Hive或OOzie的时候可能会报错,因为我们使用了MySql作为元数据存储,hive或OOzie默认没有带mysql的驱动,通过以下命令拷贝一个就行了。




问题四:集中有 667 个 副本不足的块 块。群集中共有 670 个块。百分比 副本不足的块: 99.97


原因

原因是设置的副本备份数与DataNode的个数不匹配。

我们在之前理论篇中已经说明了dfs. replication属性默认是3,也就是说副本数---块的备份数默认为3份。

hadoop基础----hadoop理论(三)-----hadoop分布式文件系统HDFS详解

但是我们这里集群只有两个DataNode。

所以导致了达不到目标---副本备份不足。


解决方法


本文中,直接给了3个datanode节点,完美解决了。

这种情况下的修复有2个步骤,1是设置目标备份数为2,2是通过命令更改当前备份数。

副本不足和副本过多都可以用这2个步骤解决,主要是跟DataNode的个数对应。

设置目标备份数为2

点击集群-HDFS-配置

搜索dfs. replication,设置为2后保存更改


问题五:NameNode 的 Java 堆栈大小






问题六:无法启动此 NFS Gateway 



解决办法:

yum install rpcbind # 安装 rpcbind 服务


systemctl status rpcbind.service #查看rpcbind服务状态

systemctl start rpcbind.service #启动rpcbind服务

systemctl enable rpcbind.service#设置开机启动rpcbind服务

HDFS NFS Gateway工作需要依附 rpcbind 服务,所以启动前需要确定rpcbind服务正常开启。 service rpcbind start

但是HDFS NFS 服务会与系统自带的NFS服务冲突,所以在启动前需要关闭系统自带的NFS服务。service nfs stop


问题七:




CDH 5.X  无法连接到 mysql 5.6



安装日志报错:


网上查到:



自己解决办法:

想到是因为自己要安装mysql,卸载了系统自带的,卸载了。所以,可能把该文件给删除了。就从其他节点,查询这个文件。libmysqlclient.so.18  

果然可以查询到。


然后


vi /etc/ld.so.conf

后面增加一条记录:
/usr/lib64/mysql 

保存后执行命令使之生效:ldconfig  





You need to use one of the following commands. Which one depends on what OS and software you have and use.

  1. easy_install mysql-python (mix os)
  2. pip install mysql-python (mix os)
  3. apt-get install python-mysqldb (Linux Ubuntu, ...)
  4. cd /usr/ports/databases/py-MySQLdb && make install clean (FreeBSD)
  5. yum install MySQL-python (Linux Fedora, CentOS ...)

For Windows, see this answer: Install mysql-python (Windows)



上述方法仍没法解决:

越过了HUE的安装步骤,待CDH集群全部搭建完毕后,再单独进行HUE的安装。





查看安装日志,了解到:


可能是软件的问题
apt-get install python-libxslt1

如还不能解决,尝试下面安装
sudo yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel



问题三:CDH安装Hive 和 Oozie 过程中,找不到 jdbc驱动




解决方案:

安装Hive或OOzie的时候可能会报错,因为我们使用了MySql作为元数据存储,hive或OOzie默认没有带mysql的驱动,通过以下命令拷贝一个就行了。




问题四:集中有 667 个 副本不足的块 块。群集中共有 670 个块。百分比 副本不足的块: 99.97


原因

原因是设置的副本备份数与DataNode的个数不匹配。

我们在之前理论篇中已经说明了dfs. replication属性默认是3,也就是说副本数---块的备份数默认为3份。

hadoop基础----hadoop理论(三)-----hadoop分布式文件系统HDFS详解

但是我们这里集群只有两个DataNode。

所以导致了达不到目标---副本备份不足。


解决方法


本文中,直接给了3个datanode节点,完美解决了。

这种情况下的修复有2个步骤,1是设置目标备份数为2,2是通过命令更改当前备份数。

副本不足和副本过多都可以用这2个步骤解决,主要是跟DataNode的个数对应。

设置目标备份数为2

点击集群-HDFS-配置

搜索dfs. replication,设置为2后保存更改


问题五:NameNode 的 Java 堆栈大小






问题六:无法启动此 NFS Gateway 



解决办法:

yum install rpcbind # 安装 rpcbind 服务


systemctl status rpcbind.service #查看rpcbind服务状态

systemctl start rpcbind.service #启动rpcbind服务

systemctl enable rpcbind.service#设置开机启动rpcbind服务

HDFS NFS Gateway工作需要依附 rpcbind 服务,所以启动前需要确定rpcbind服务正常开启。 service rpcbind start

但是HDFS NFS 服务会与系统自带的NFS服务冲突,所以在启动前需要关闭系统自带的NFS服务。service nfs stop




这篇关于CDH5.x 安装问题集锦的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1055081

相关文章

IDEA和GIT关于文件中LF和CRLF问题及解决

《IDEA和GIT关于文件中LF和CRLF问题及解决》文章总结:因IDEA默认使用CRLF换行符导致Shell脚本在Linux运行报错,需在编辑器和Git中统一为LF,通过调整Git的core.aut... 目录问题描述问题思考解决过程总结问题描述项目软件安装shell脚本上git仓库管理,但拉取后,上l

idea npm install很慢问题及解决(nodejs)

《ideanpminstall很慢问题及解决(nodejs)》npm安装速度慢可通过配置国内镜像源(如淘宝)、清理缓存及切换工具解决,建议设置全局镜像(npmconfigsetregistryht... 目录idea npm install很慢(nodejs)配置国内镜像源清理缓存总结idea npm in

pycharm跑python项目易出错的问题总结

《pycharm跑python项目易出错的问题总结》:本文主要介绍pycharm跑python项目易出错问题的相关资料,当你在PyCharm中运行Python程序时遇到报错,可以按照以下步骤进行排... 1. 一定不要在pycharm终端里面创建环境安装别人的项目子模块等,有可能出现的问题就是你不报错都安装

idea突然报错Malformed \uxxxx encoding问题及解决

《idea突然报错Malformeduxxxxencoding问题及解决》Maven项目在切换Git分支时报错,提示project元素为描述符根元素,解决方法:删除Maven仓库中的resolv... 目www.chinasem.cn录问题解决方式总结问题idea 上的 maven China编程项目突然报错,是

Python爬虫HTTPS使用requests,httpx,aiohttp实战中的证书异步等问题

《Python爬虫HTTPS使用requests,httpx,aiohttp实战中的证书异步等问题》在爬虫工程里,“HTTPS”是绕不开的话题,HTTPS为传输加密提供保护,同时也给爬虫带来证书校验、... 目录一、核心问题与优先级检查(先问三件事)二、基础示例:requests 与证书处理三、高并发选型:

前端导出Excel文件出现乱码或文件损坏问题的解决办法

《前端导出Excel文件出现乱码或文件损坏问题的解决办法》在现代网页应用程序中,前端有时需要与后端进行数据交互,包括下载文件,:本文主要介绍前端导出Excel文件出现乱码或文件损坏问题的解决办法,... 目录1. 检查后端返回的数据格式2. 前端正确处理二进制数据方案 1:直接下载(推荐)方案 2:手动构造

python依赖管理工具UV的安装和使用教程

《python依赖管理工具UV的安装和使用教程》UV是一个用Rust编写的Python包安装和依赖管理工具,比传统工具(如pip)有着更快、更高效的体验,:本文主要介绍python依赖管理工具UV... 目录前言一、命令安装uv二、手动编译安装2.1在archlinux安装uv的依赖工具2.2从github

Python绘制TSP、VRP问题求解结果图全过程

《Python绘制TSP、VRP问题求解结果图全过程》本文介绍用Python绘制TSP和VRP问题的静态与动态结果图,静态图展示路径,动态图通过matplotlib.animation模块实现动画效果... 目录一、静态图二、动态图总结【代码】python绘制TSP、VRP问题求解结果图(包含静态图与动态图

MyBatis/MyBatis-Plus同事务循环调用存储过程获取主键重复问题分析及解决

《MyBatis/MyBatis-Plus同事务循环调用存储过程获取主键重复问题分析及解决》MyBatis默认开启一级缓存,同一事务中循环调用查询方法时会重复使用缓存数据,导致获取的序列主键值均为1,... 目录问题原因解决办法如果是存储过程总结问题myBATis有如下代码获取序列作为主键IdMappe

JDK8(Java Development kit)的安装与配置全过程

《JDK8(JavaDevelopmentkit)的安装与配置全过程》文章简要介绍了Java的核心特点(如跨平台、JVM机制)及JDK/JRE的区别,重点讲解了如何通过配置环境变量(PATH和JA... 目录Java特点JDKJREJDK的下载,安装配置环境变量总结Java特点说起 Java,大家肯定都