CM记录-CDH部署手册

2023-11-27 23:10
文章标签 部署 记录 手册 cm cdh

本文主要是介绍CM记录-CDH部署手册，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1.安装环境和软件准备
 CentOS release 7.4
 JDK1.8.0_121
 mysql-connector-java-5.1.40-bin.jar
 CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel
 CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel.sha
 manifest.json
 MySQL
 cloudera-manager-centos7-cm5.10.2_x86_64.tar

2.机器配置
2.1 主机名 IP 地址规划
主机名 节点类型 IP 地址 主要存储
hadoop01 主节点 192.168.52.60 Namenode（名字节点）
hadoop02 从节点 192.168.52.61 Datanode（数据节点）
hadoop03 从节点 192.168.52.62 Datanode（数据节点）
其他要求：8GB 内存、100GB 数据盘、4 核 cpu
1）三台机器分别修改主机名
hostnamectl set-hostname hadoop01
hostnamectl set-hostname hadoop02
hostnamectl set-hostname hadoop03
或者 vim /etc/sysconfig/network 加入 HOSTNAME=hadoop01/02/03 等

2）三台机器分别加入主机映射
vim /etc/hosts
192.168.52.60 hadoop01
192.168.52.61 hadodp02
192.168.52.62 hadoop03

2.2 关闭 selinux
1）三台机器分别修改 selinux 安全控制配置
vim /etc/sysconfig/selinux
设置 SELINUX=disabled
2）立即生效
sudo setenforce 0

2.3 关闭防火墙
1）三台机器执行关闭防火墙命令
systemctl stop firewalld
systemctl disable firewalld

2.4 新建目录
1）三台机器分别新建目录
 mkdir /opt/cloudera/parcels -p
 mkdir /opt/cloudera/parcel-cache -p
 mkdir /opt/jdk
2）hadoop01 上新建目录
 mkdir /opt/cloudera/parcel-repo -p

2.5 配置 JDK
1）三台机器分别配置 JDK 环境变量
1.1）从其他主机拷贝 jdk 文件到三台服务器上
scp -r /usr/local/jdk root@192.168.52.60:/opt/cloudera/
scp -r /opt/jdk root@192.168.52.61:/opt/
scp -r /opt/jdk root@192.168.52.62:/opt/
vim /etc/profile

JAVA_HOME=/opt/jdk
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib
export JAVA_HOME CLASSPATH PATH

1.2）生效并测试
#source /etc/profile
#java -version

2.6 配置 NTP 服务
1）三台机器分别配置 ntp 时钟服务
#yum -y install ntp ---安装 ntp
#ntpdate -u ntp1.aliyun.com ---配置阿里云时钟
#systemctl status ntpd.service 开启 ntpd 服务

3.主节点配置 MySQL
#wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
#yum -y install mysql57-community-release-el7-10.noarch.rpm
#yum -y install mysql-community-server

#systemctl start mysqld.service 启动服务
#systemctl status mysqld.service 查看服务状态

#为了加强安全性，MySQL5.7 为 root 用户随机生成了一个密码，在 error log 中，
关于 error log 的位置，如果安装的是 RPM 包，则默认是/var/log/mysqld.log。
只有启动过一次 mysql 才可以查看临时密码
#通过下面的命令查看初始密码，冒号后面的字符就是密码
grep 'temporary password' /var/log/mysqld.log
#登录 mysql 修改 root 密码
# mysql -u root -p
#validate_password_policy 代表密码策略，默认是 1：符合长度，且必须含有数
字，小写或大写字母，特殊字符。设置为 0 判断密码的标准就基于密码的长度了。
一定要先修改两个参数再修改密码
#mysql> set global validate_password_policy=0;
#validate_password_length 代表密码长度，最小值为 4
#mysql> set global validate_password_length=4;
#mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'root123456';
#mysql>flush privileges;
#mysql>exit;
mysql -uroot -proot123456

#授予权限
grant all privileges on *.* to 'root'@'hadoop01' identified by 'root123456' with
grant option;
grant all privileges on *.* to 'root'@'%' identified by 'root123456' with grant
option;
grant all privileges on *.* to 'root'@localhost identified by 'root123456' with
grant option;
#刷新权限列表
flush privileges
exit
4.安装 cloudera manager
4.1 拷贝文件
1）上传文件到服务器并拷贝到主机里指定目录下
2）拷贝 cdh 包文件
scp -r
/data/cm/app/cloudera/parcel-repo/CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel
root@192.168.52.60:/opt/cloudera/parcel-repo/
scp -r
/data/cm/app/cloudera/parcel-repo/CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel.sh

a root@192.168.52.60:/opt/cloudera/parcel-repo/
scp -r /data/cm/app/cloudera/parcel-repo/manifest.json
root@192.168.52.60:/opt/cloudera/parcel-repo/
3）拷贝 cloudera manager 管理器程序文件
scp -r /root/cloudera-manager-centos7-cm5.10.2_x86_64.tar
root@192.168.52.60:/opt/cloudera/
然后执行 tar xvf cloudera-manager-centos7-cm5.10.2_x86_64.tar 为 cm-5.10.2
scp -r /opt/cm-5.10.2 root@192.168.52.61:/opt/cloudera/
scp -r /opt/cm-5.10.2 root@192.168.52.62:/opt/cloudera/
4.2 主节点添加 scm 用户
useradd --system --home=/opt/cm-5.10.2/run/cloudera-scm-server/ --no-create-home
--shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
4.3 拷贝驱动文件
cp mysql-connector-java-5.1.40-bin.jar /opt/cm-5.10.2/share/cmf/lib/
4.4 初始化 cm 数据库
#/opt/cm-5.10.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot
-proot123456 --scm-host localhost scm scm scm

4.5 主节点启动 cloudera-scm-server
1）在 hadoop01 执行
#/opt/cm-5.10.2/etc/init.d/cloudera-scm-server start
#/opt/cm-5.10.2/etc/init.d/cloudera-scm-agent start

4.6 从节点启动 cloudera-scm-agent
1）从节点 hadoop02/03 cloudera-manger-agent 指向主节点服务器
vim /opt/cm-5.10.2/etc/cloudera-scm-agent/config.ini
将 server_host 改为 CMS 所在的主机名即 hadoop01
2）在 hadoop02、hadoop03 上执行
#/opt/cm-5.10.2/etc/init.d/cloudera-scm-agent start

4.7 安装 cloudera manager service 服务
cdh 包高度集成 hadoop 生态组件，cloudera manager 管理器进行安装 cdh 包。
1）打开浏览器输入以下地址进入 cloudera manager web 管理端
http://192.168.52.60:7180/cmf/login ---用户和密码都是 admin

2）添加 cloudera manager service

3）添加集群

4）三台机器分别拷贝 mysql 连接库到 hive/lib 下
#cp /opt/cm-5.10.2/share/cmf/lib/mysql-connector-java-5.1.40-bin.jar
/opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/lib/hive/lib/

5.添加 zookeeper 服务

6.添加 HDFS 服务
添加 HDFS 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 HDFS 服务-分配服务角色

7.添加 Hbase 服务
添加 Hbase 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 Hbase 服务-分配服务角色

8.添加 Yarn 服务
添加 Yarn 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 Yarn 服务-分配服务角色

9.添加 Hive 服务
添加 Hive 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 Hive 服务-分配服务角色-需要创建数据库

9.添加 Hive 服务
添加 Hive 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 Hive 服务-分配服务角色

 

转载于:https://www.cnblogs.com/xinfang520/p/11191997.html

这篇关于CM记录-CDH部署手册的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/428627。

相关文章

SpringBoot3应用中集成和使用Spring Retry的实践记录

SpringBoot3应用中集成和使用Spring Retry的实践记录

《SpringBoot3应用中集成和使用SpringRetry的实践记录》SpringRetry为SpringBoot3提供重试机制,支持注解和编程式两种方式,可配置重试策略与监听器,适用于临时性故... 目录1. 简介2. 环境准备3. 使用方式3.1 注解方式 基础使用自定义重试策略失败恢复机制注意事项
阅读更多...
Python UV安装、升级、卸载详细步骤记录

Python UV安装、升级、卸载详细步骤记录

《PythonUV安装、升级、卸载详细步骤记录》：本文主要介绍PythonUV安装、升级、卸载的详细步骤,uv是Astral推出的下一代Python包与项目管理器,主打单一可执行文件、极致性能... 目录安装检查升级设置自动补全卸载UV 命令总结 官方文档详见：https://docs.astral.sh/
阅读更多...
统一返回JsonResult踩坑的记录

统一返回JsonResult踩坑的记录

《统一返回JsonResult踩坑的记录》：本文主要介绍统一返回JsonResult踩坑的记录,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录统一返回jsonResult踩坑定义了一个统一返回类在使用时，JsonResult没有get/set方法时响应总结统一返回
阅读更多...
Go学习记录之runtime包深入解析

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,：本文主要介绍Go学习记录之runtime包的... 目录前言：一、runtime包内容学习1、作用：① Goroutine和并发控制：② 垃圾回收：③ 栈和
阅读更多...
java对接海康摄像头的完整步骤记录

java对接海康摄像头的完整步骤记录

《java对接海康摄像头的完整步骤记录》在Java中调用海康威视摄像头通常需要使用海康威视提供的SDK,下面这篇文章主要给大家介绍了关于java对接海康摄像头的完整步骤,文中通过代码介绍的非常详细,需... 目录一、开发环境准备二、实现Java调用设备接口（一）加载动态链接库（二）结构体、接口重定义1.类型
阅读更多...
apache的commons-pool2原理与使用实践记录

apache的commons-pool2原理与使用实践记录

《apache的commons-pool2原理与使用实践记录》ApacheCommonsPool2是一个高效的对象池化框架,通过复用昂贵资源（如数据库连接、线程、网络连接）优化系统性能,这篇文章主... 目录一、核心原理与组件二、使用步骤详解（以数据库连接池为例）三、高级配置与优化四、典型应用场景五、注意事
阅读更多...
SpringBoot实现文件记录日志及日志文件自动归档和压缩

SpringBoot实现文件记录日志及日志文件自动归档和压缩

《SpringBoot实现文件记录日志及日志文件自动归档和压缩》Logback是Java日志框架,通过Logger收集日志并经Appender输出至控制台、文件等,SpringBoot配置logbac... 目录1、什么是Logback2、SpringBoot实现文件记录日志，日志文件自动归档和压缩2.1、
阅读更多...
qtcreater配置opencv遇到的坑及实践记录

qtcreater配置opencv遇到的坑及实践记录

《qtcreater配置opencv遇到的坑及实践记录》我配置opencv不管是按照网上的教程还是deepseek发现都有些问题,下面是我的配置方法以及实践成功的心得,感兴趣的朋友跟随小编一起看看吧... 目录电脑环境下载环境变量配置qmake加入外部库测试配置我配置opencv不管是按照网上的教程还是de
阅读更多...
Web技术与Nginx网站环境部署教程

Web技术与Nginx网站环境部署教程

《Web技术与Nginx网站环境部署教程》：本文主要介绍Web技术与Nginx网站环境部署教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Web基础1.域名系统DNS2.Hosts文件3.DNS4.域名注册二.网页与html1.网页概述2.HTML概述3.
阅读更多...
使用nohup和--remove-source-files在后台运行rsync并记录日志方式

使用nohup和--remove-source-files在后台运行rsync并记录日志方式

《使用nohup和--remove-source-files在后台运行rsync并记录日志方式》：本文主要介绍使用nohup和--remove-source-files在后台运行rsync并记录日... 目录一、什么是 --remove-source-files？二、示例命令三、命令详解1. nohup2.
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2