CM记录-CDH部署手册

2023-11-27 23:10
文章标签 部署 记录 手册 cm cdh

本文主要是介绍CM记录-CDH部署手册，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1.安装环境和软件准备
 CentOS release 7.4
 JDK1.8.0_121
 mysql-connector-java-5.1.40-bin.jar
 CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel
 CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel.sha
 manifest.json
 MySQL
 cloudera-manager-centos7-cm5.10.2_x86_64.tar

2.机器配置
2.1 主机名 IP 地址规划
主机名 节点类型 IP 地址 主要存储
hadoop01 主节点 192.168.52.60 Namenode（名字节点）
hadoop02 从节点 192.168.52.61 Datanode（数据节点）
hadoop03 从节点 192.168.52.62 Datanode（数据节点）
其他要求：8GB 内存、100GB 数据盘、4 核 cpu
1）三台机器分别修改主机名
hostnamectl set-hostname hadoop01
hostnamectl set-hostname hadoop02
hostnamectl set-hostname hadoop03
或者 vim /etc/sysconfig/network 加入 HOSTNAME=hadoop01/02/03 等

2）三台机器分别加入主机映射
vim /etc/hosts
192.168.52.60 hadoop01
192.168.52.61 hadodp02
192.168.52.62 hadoop03

2.2 关闭 selinux
1）三台机器分别修改 selinux 安全控制配置
vim /etc/sysconfig/selinux
设置 SELINUX=disabled
2）立即生效
sudo setenforce 0

2.3 关闭防火墙
1）三台机器执行关闭防火墙命令
systemctl stop firewalld
systemctl disable firewalld

2.4 新建目录
1）三台机器分别新建目录
 mkdir /opt/cloudera/parcels -p
 mkdir /opt/cloudera/parcel-cache -p
 mkdir /opt/jdk
2）hadoop01 上新建目录
 mkdir /opt/cloudera/parcel-repo -p

2.5 配置 JDK
1）三台机器分别配置 JDK 环境变量
1.1）从其他主机拷贝 jdk 文件到三台服务器上
scp -r /usr/local/jdk root@192.168.52.60:/opt/cloudera/
scp -r /opt/jdk root@192.168.52.61:/opt/
scp -r /opt/jdk root@192.168.52.62:/opt/
vim /etc/profile

JAVA_HOME=/opt/jdk
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib
export JAVA_HOME CLASSPATH PATH

1.2）生效并测试
#source /etc/profile
#java -version

2.6 配置 NTP 服务
1）三台机器分别配置 ntp 时钟服务
#yum -y install ntp ---安装 ntp
#ntpdate -u ntp1.aliyun.com ---配置阿里云时钟
#systemctl status ntpd.service 开启 ntpd 服务

3.主节点配置 MySQL
#wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
#yum -y install mysql57-community-release-el7-10.noarch.rpm
#yum -y install mysql-community-server

#systemctl start mysqld.service 启动服务
#systemctl status mysqld.service 查看服务状态

#为了加强安全性，MySQL5.7 为 root 用户随机生成了一个密码，在 error log 中，
关于 error log 的位置，如果安装的是 RPM 包，则默认是/var/log/mysqld.log。
只有启动过一次 mysql 才可以查看临时密码
#通过下面的命令查看初始密码，冒号后面的字符就是密码
grep 'temporary password' /var/log/mysqld.log
#登录 mysql 修改 root 密码
# mysql -u root -p
#validate_password_policy 代表密码策略，默认是 1：符合长度，且必须含有数
字，小写或大写字母，特殊字符。设置为 0 判断密码的标准就基于密码的长度了。
一定要先修改两个参数再修改密码
#mysql> set global validate_password_policy=0;
#validate_password_length 代表密码长度，最小值为 4
#mysql> set global validate_password_length=4;
#mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'root123456';
#mysql>flush privileges;
#mysql>exit;
mysql -uroot -proot123456

#授予权限
grant all privileges on *.* to 'root'@'hadoop01' identified by 'root123456' with
grant option;
grant all privileges on *.* to 'root'@'%' identified by 'root123456' with grant
option;
grant all privileges on *.* to 'root'@localhost identified by 'root123456' with
grant option;
#刷新权限列表
flush privileges
exit
4.安装 cloudera manager
4.1 拷贝文件
1）上传文件到服务器并拷贝到主机里指定目录下
2）拷贝 cdh 包文件
scp -r
/data/cm/app/cloudera/parcel-repo/CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel
root@192.168.52.60:/opt/cloudera/parcel-repo/
scp -r
/data/cm/app/cloudera/parcel-repo/CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel.sh

a root@192.168.52.60:/opt/cloudera/parcel-repo/
scp -r /data/cm/app/cloudera/parcel-repo/manifest.json
root@192.168.52.60:/opt/cloudera/parcel-repo/
3）拷贝 cloudera manager 管理器程序文件
scp -r /root/cloudera-manager-centos7-cm5.10.2_x86_64.tar
root@192.168.52.60:/opt/cloudera/
然后执行 tar xvf cloudera-manager-centos7-cm5.10.2_x86_64.tar 为 cm-5.10.2
scp -r /opt/cm-5.10.2 root@192.168.52.61:/opt/cloudera/
scp -r /opt/cm-5.10.2 root@192.168.52.62:/opt/cloudera/
4.2 主节点添加 scm 用户
useradd --system --home=/opt/cm-5.10.2/run/cloudera-scm-server/ --no-create-home
--shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
4.3 拷贝驱动文件
cp mysql-connector-java-5.1.40-bin.jar /opt/cm-5.10.2/share/cmf/lib/
4.4 初始化 cm 数据库
#/opt/cm-5.10.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot
-proot123456 --scm-host localhost scm scm scm

4.5 主节点启动 cloudera-scm-server
1）在 hadoop01 执行
#/opt/cm-5.10.2/etc/init.d/cloudera-scm-server start
#/opt/cm-5.10.2/etc/init.d/cloudera-scm-agent start

4.6 从节点启动 cloudera-scm-agent
1）从节点 hadoop02/03 cloudera-manger-agent 指向主节点服务器
vim /opt/cm-5.10.2/etc/cloudera-scm-agent/config.ini
将 server_host 改为 CMS 所在的主机名即 hadoop01
2）在 hadoop02、hadoop03 上执行
#/opt/cm-5.10.2/etc/init.d/cloudera-scm-agent start

4.7 安装 cloudera manager service 服务
cdh 包高度集成 hadoop 生态组件，cloudera manager 管理器进行安装 cdh 包。
1）打开浏览器输入以下地址进入 cloudera manager web 管理端
http://192.168.52.60:7180/cmf/login ---用户和密码都是 admin

2）添加 cloudera manager service

3）添加集群

4）三台机器分别拷贝 mysql 连接库到 hive/lib 下
#cp /opt/cm-5.10.2/share/cmf/lib/mysql-connector-java-5.1.40-bin.jar
/opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/lib/hive/lib/

5.添加 zookeeper 服务

6.添加 HDFS 服务
添加 HDFS 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 HDFS 服务-分配服务角色

7.添加 Hbase 服务
添加 Hbase 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 Hbase 服务-分配服务角色

8.添加 Yarn 服务
添加 Yarn 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 Yarn 服务-分配服务角色

9.添加 Hive 服务
添加 Hive 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 Hive 服务-分配服务角色-需要创建数据库

9.添加 Hive 服务
添加 Hive 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 Hive 服务-分配服务角色

 

转载于:https://www.cnblogs.com/xinfang520/p/11191997.html

这篇关于CM记录-CDH部署手册的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/428627。

相关文章

使用IDEA部署Docker应用指南分享

使用IDEA部署Docker应用指南分享

《使用IDEA部署Docker应用指南分享》本文介绍了使用IDEA部署Docker应用的四步流程：创建Dockerfile、配置IDEADocker连接、设置运行调试环境、构建运行镜像,并强调需准备本... 目录一、创建 dockerfile 配置文件二、配置 IDEA 的 Docker 连接三、配置 Do
阅读更多...
java中pdf模版填充表单踩坑实战记录(itextPdf、openPdf、pdfbox)

java中pdf模版填充表单踩坑实战记录(itextPdf、openPdf、pdfbox)

《java中pdf模版填充表单踩坑实战记录(itextPdf、openPdf、pdfbox)》：本文主要介绍java中pdf模版填充表单踩坑的相关资料,OpenPDF、iText、PDFBox是三... 目录准备Pdf模版方法1：itextpdf7填充表单（1）加入依赖（2）代码（3）遇到的问题方法2：pd
阅读更多...
Zabbix在MySQL性能监控方面的运用及最佳实践记录

Zabbix在MySQL性能监控方面的运用及最佳实践记录

《Zabbix在MySQL性能监控方面的运用及最佳实践记录》Zabbix通过自定义脚本和内置模板监控MySQL核心指标（连接、查询、资源、复制）,支持自动发现多实例及告警通知,结合可视化仪表盘,可有效... 目录一、核心监控指标及配置1. 关键监控指标示例2. 配置方法二、自动发现与多实例管理1. 实践步骤
阅读更多...
MySQL 主从复制部署及验证(示例详解)

MySQL 主从复制部署及验证(示例详解)

《MySQL主从复制部署及验证(示例详解)》本文介绍MySQL主从复制部署步骤及学校管理数据库创建脚本,包含表结构设计、示例数据插入和查询语句,用于验证主从同步功能,感兴趣的朋友一起看看吧... 目录mysql 主从复制部署指南部署步骤1.环境准备2. 主服务器配置3. 创建复制用户4. 获取主服务器状态5
阅读更多...
golang程序打包成脚本部署到Linux系统方式

golang程序打包成脚本部署到Linux系统方式

《golang程序打包成脚本部署到Linux系统方式》Golang程序通过本地编译（设置GOOS为linux生成无后缀二进制文件）,上传至Linux服务器后赋权执行,使用nohup命令实现后台运行,完... 目录本地编译golang程序上传Golang二进制文件到linux服务器总结本地编译Golang程序
阅读更多...
如何在Ubuntu 24.04上部署Zabbix 7.0对服务器进行监控

如何在Ubuntu 24.04上部署Zabbix 7.0对服务器进行监控

《如何在Ubuntu24.04上部署Zabbix7.0对服务器进行监控》在Ubuntu24.04上部署Zabbix7.0监控阿里云ECS服务器,需配置MariaDB数据库、开放10050/1005... 目录软硬件信息部署步骤步骤 1：安装并配置mariadb步骤 2：安装Zabbix 7.0 Server
阅读更多...
在Spring Boot中集成RabbitMQ的实战记录

在Spring Boot中集成RabbitMQ的实战记录

《在SpringBoot中集成RabbitMQ的实战记录》本文介绍SpringBoot集成RabbitMQ的步骤,涵盖配置连接、消息发送与接收,并对比两种定义Exchange与队列的方式:手动声明(... 目录前言准备工作1. 安装 RabbitMQ2. 消息发送者（Producer）配置1. 创建 Spr
阅读更多...
k8s上运行的mysql、mariadb数据库的备份记录(支持x86和arm两种架构)

k8s上运行的mysql、mariadb数据库的备份记录(支持x86和arm两种架构)

《k8s上运行的mysql、mariadb数据库的备份记录(支持x86和arm两种架构)》本文记录在K8s上运行的MySQL/MariaDB备份方案,通过工具容器执行mysqldump,结合定时任务实... 目录前言一、获取需要备份的数据库的信息二、备份步骤1.准备工作（X86）1.准备工作（arm）2.手
阅读更多...
SpringBoot3应用中集成和使用Spring Retry的实践记录

SpringBoot3应用中集成和使用Spring Retry的实践记录

《SpringBoot3应用中集成和使用SpringRetry的实践记录》SpringRetry为SpringBoot3提供重试机制,支持注解和编程式两种方式,可配置重试策略与监听器,适用于临时性故... 目录1. 简介2. 环境准备3. 使用方式3.1 注解方式 基础使用自定义重试策略失败恢复机制注意事项
阅读更多...
Python UV安装、升级、卸载详细步骤记录

Python UV安装、升级、卸载详细步骤记录

《PythonUV安装、升级、卸载详细步骤记录》：本文主要介绍PythonUV安装、升级、卸载的详细步骤,uv是Astral推出的下一代Python包与项目管理器,主打单一可执行文件、极致性能... 目录安装检查升级设置自动补全卸载UV 命令总结 官方文档详见：https://docs.astral.sh/
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2