CDH5.x 安装问题集锦

2024-06-12 19:08
文章标签 问题 安装 集锦 cdh5

本文主要是介绍CDH5.x 安装问题集锦,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!




CDH 5.X  无法连接到 mysql 5.6




安装日志报错:



网上查到:




自己解决办法:

想到是因为自己要安装mysql,卸载了系统自带的,卸载了。所以,可能把该文件给删除了。就从其他节点,查询这个文件。libmysqlclient.so.18  

果然可以查询到。



然后


vi /etc/ld.so.conf

后面增加一条记录:
/usr/lib64/mysql 

保存后执行命令使之生效:ldconfig  




You need to use one of the following commands. Which one depends on what OS and software you have and use.

  1. easy_install mysql-python (mix os)
  2. pip install mysql-python (mix os)
  3. apt-get install python-mysqldb (Linux Ubuntu, ...)
  4. cd /usr/ports/databases/py-MySQLdb && make install clean (FreeBSD)
  5. yum install MySQL-python (Linux Fedora, CentOS ...)

For Windows, see this answer: Install mysql-python (Windows)



上述方法仍没法解决:

越过了HUE的安装步骤,待CDH集群全部搭建完毕后,再单独进行HUE的安装。(后来,重新卸载了 主机的 python,自己重新装了python,就可以了)





查看安装日志,了解到:


可能是软件的问题
apt-get install python-libxslt1

如还不能解决,尝试下面安装
sudo yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel



重装了 python ,就可以了。看来是系统自带的python  缺少一些包。



问题三:CDH安装Hive 和 Oozie 过程中,找不到 jdbc驱动




解决方案:

安装Hive或OOzie的时候可能会报错,因为我们使用了MySql作为元数据存储,hive或OOzie默认没有带mysql的驱动,通过以下命令拷贝一个就行了。




问题四:集中有 667 个 副本不足的块 块。群集中共有 670 个块。百分比 副本不足的块: 99.97


原因

原因是设置的副本备份数与DataNode的个数不匹配。

我们在之前理论篇中已经说明了dfs. replication属性默认是3,也就是说副本数---块的备份数默认为3份。

hadoop基础----hadoop理论(三)-----hadoop分布式文件系统HDFS详解

但是我们这里集群只有两个DataNode。

所以导致了达不到目标---副本备份不足。


解决方法


本文中,直接给了3个datanode节点,完美解决了。

这种情况下的修复有2个步骤,1是设置目标备份数为2,2是通过命令更改当前备份数。

副本不足和副本过多都可以用这2个步骤解决,主要是跟DataNode的个数对应。

设置目标备份数为2

点击集群-HDFS-配置

搜索dfs. replication,设置为2后保存更改


问题五:NameNode 的 Java 堆栈大小






问题六:无法启动此 NFS Gateway 



解决办法:

yum install rpcbind # 安装 rpcbind 服务


systemctl status rpcbind.service #查看rpcbind服务状态

systemctl start rpcbind.service #启动rpcbind服务

systemctl enable rpcbind.service#设置开机启动rpcbind服务

HDFS NFS Gateway工作需要依附 rpcbind 服务,所以启动前需要确定rpcbind服务正常开启。 service rpcbind start

但是HDFS NFS 服务会与系统自带的NFS服务冲突,所以在启动前需要关闭系统自带的NFS服务。service nfs stop


问题七:




CDH 5.X  无法连接到 mysql 5.6



安装日志报错:


网上查到:



自己解决办法:

想到是因为自己要安装mysql,卸载了系统自带的,卸载了。所以,可能把该文件给删除了。就从其他节点,查询这个文件。libmysqlclient.so.18  

果然可以查询到。


然后


vi /etc/ld.so.conf

后面增加一条记录:
/usr/lib64/mysql 

保存后执行命令使之生效:ldconfig  





You need to use one of the following commands. Which one depends on what OS and software you have and use.

  1. easy_install mysql-python (mix os)
  2. pip install mysql-python (mix os)
  3. apt-get install python-mysqldb (Linux Ubuntu, ...)
  4. cd /usr/ports/databases/py-MySQLdb && make install clean (FreeBSD)
  5. yum install MySQL-python (Linux Fedora, CentOS ...)

For Windows, see this answer: Install mysql-python (Windows)



上述方法仍没法解决:

越过了HUE的安装步骤,待CDH集群全部搭建完毕后,再单独进行HUE的安装。





查看安装日志,了解到:


可能是软件的问题
apt-get install python-libxslt1

如还不能解决,尝试下面安装
sudo yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel



问题三:CDH安装Hive 和 Oozie 过程中,找不到 jdbc驱动




解决方案:

安装Hive或OOzie的时候可能会报错,因为我们使用了MySql作为元数据存储,hive或OOzie默认没有带mysql的驱动,通过以下命令拷贝一个就行了。




问题四:集中有 667 个 副本不足的块 块。群集中共有 670 个块。百分比 副本不足的块: 99.97


原因

原因是设置的副本备份数与DataNode的个数不匹配。

我们在之前理论篇中已经说明了dfs. replication属性默认是3,也就是说副本数---块的备份数默认为3份。

hadoop基础----hadoop理论(三)-----hadoop分布式文件系统HDFS详解

但是我们这里集群只有两个DataNode。

所以导致了达不到目标---副本备份不足。


解决方法


本文中,直接给了3个datanode节点,完美解决了。

这种情况下的修复有2个步骤,1是设置目标备份数为2,2是通过命令更改当前备份数。

副本不足和副本过多都可以用这2个步骤解决,主要是跟DataNode的个数对应。

设置目标备份数为2

点击集群-HDFS-配置

搜索dfs. replication,设置为2后保存更改


问题五:NameNode 的 Java 堆栈大小






问题六:无法启动此 NFS Gateway 



解决办法:

yum install rpcbind # 安装 rpcbind 服务


systemctl status rpcbind.service #查看rpcbind服务状态

systemctl start rpcbind.service #启动rpcbind服务

systemctl enable rpcbind.service#设置开机启动rpcbind服务

HDFS NFS Gateway工作需要依附 rpcbind 服务,所以启动前需要确定rpcbind服务正常开启。 service rpcbind start

但是HDFS NFS 服务会与系统自带的NFS服务冲突,所以在启动前需要关闭系统自带的NFS服务。service nfs stop




这篇关于CDH5.x 安装问题集锦的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1055081

相关文章

gitlab安装及邮箱配置和常用使用方式

《gitlab安装及邮箱配置和常用使用方式》:本文主要介绍gitlab安装及邮箱配置和常用使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装GitLab2.配置GitLab邮件服务3.GitLab的账号注册邮箱验证及其分组4.gitlab分支和标签的

MySQL MCP 服务器安装配置最佳实践

《MySQLMCP服务器安装配置最佳实践》本文介绍MySQLMCP服务器的安装配置方法,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下... 目录mysql MCP 服务器安装配置指南简介功能特点安装方法数据库配置使用MCP Inspector进行调试开发指

在Windows上使用qemu安装ubuntu24.04服务器的详细指南

《在Windows上使用qemu安装ubuntu24.04服务器的详细指南》本文介绍了在Windows上使用QEMU安装Ubuntu24.04的全流程:安装QEMU、准备ISO镜像、创建虚拟磁盘、配置... 目录1. 安装QEMU环境2. 准备Ubuntu 24.04镜像3. 启动QEMU安装Ubuntu4

Python UV安装、升级、卸载详细步骤记录

《PythonUV安装、升级、卸载详细步骤记录》:本文主要介绍PythonUV安装、升级、卸载的详细步骤,uv是Astral推出的下一代Python包与项目管理器,主打单一可执行文件、极致性能... 目录安装检查升级设置自动补全卸载UV 命令总结 官方文档详见:https://docs.astral.sh/

Nexus安装和启动的实现教程

《Nexus安装和启动的实现教程》:本文主要介绍Nexus安装和启动的实现教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Nexus下载二、Nexus安装和启动三、关闭Nexus总结一、Nexus下载官方下载链接:DownloadWindows系统根

MySQL 设置AUTO_INCREMENT 无效的问题解决

《MySQL设置AUTO_INCREMENT无效的问题解决》本文主要介绍了MySQL设置AUTO_INCREMENT无效的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参... 目录快速设置mysql的auto_increment参数一、修改 AUTO_INCREMENT 的值。

关于跨域无效的问题及解决(java后端方案)

《关于跨域无效的问题及解决(java后端方案)》:本文主要介绍关于跨域无效的问题及解决(java后端方案),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录通用后端跨域方法1、@CrossOrigin 注解2、springboot2.0 实现WebMvcConfig

Java SWT库详解与安装指南(最新推荐)

《JavaSWT库详解与安装指南(最新推荐)》:本文主要介绍JavaSWT库详解与安装指南,在本章中,我们介绍了如何下载、安装SWTJAR包,并详述了在Eclipse以及命令行环境中配置Java... 目录1. Java SWT类库概述2. SWT与AWT和Swing的区别2.1 历史背景与设计理念2.1.

Go语言中泄漏缓冲区的问题解决

《Go语言中泄漏缓冲区的问题解决》缓冲区是一种常见的数据结构,常被用于在不同的并发单元之间传递数据,然而,若缓冲区使用不当,就可能引发泄漏缓冲区问题,本文就来介绍一下问题的解决,感兴趣的可以了解一下... 目录引言泄漏缓冲区的基本概念代码示例:泄漏缓冲区的产生项目场景:Web 服务器中的请求缓冲场景描述代码

Java死锁问题解决方案及示例详解

《Java死锁问题解决方案及示例详解》死锁是指两个或多个线程因争夺资源而相互等待,导致所有线程都无法继续执行的一种状态,本文给大家详细介绍了Java死锁问题解决方案详解及实践样例,需要的朋友可以参考下... 目录1、简述死锁的四个必要条件:2、死锁示例代码3、如何检测死锁?3.1 使用 jstack3.2