CM记录-CDH部署手册

2023-11-27 23:10
文章标签 部署 记录 手册 cm cdh

本文主要是介绍CM记录-CDH部署手册，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1.安装环境和软件准备
 CentOS release 7.4
 JDK1.8.0_121
 mysql-connector-java-5.1.40-bin.jar
 CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel
 CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel.sha
 manifest.json
 MySQL
 cloudera-manager-centos7-cm5.10.2_x86_64.tar

2.机器配置
2.1 主机名 IP 地址规划
主机名 节点类型 IP 地址 主要存储
hadoop01 主节点 192.168.52.60 Namenode（名字节点）
hadoop02 从节点 192.168.52.61 Datanode（数据节点）
hadoop03 从节点 192.168.52.62 Datanode（数据节点）
其他要求：8GB 内存、100GB 数据盘、4 核 cpu
1）三台机器分别修改主机名
hostnamectl set-hostname hadoop01
hostnamectl set-hostname hadoop02
hostnamectl set-hostname hadoop03
或者 vim /etc/sysconfig/network 加入 HOSTNAME=hadoop01/02/03 等

2）三台机器分别加入主机映射
vim /etc/hosts
192.168.52.60 hadoop01
192.168.52.61 hadodp02
192.168.52.62 hadoop03

2.2 关闭 selinux
1）三台机器分别修改 selinux 安全控制配置
vim /etc/sysconfig/selinux
设置 SELINUX=disabled
2）立即生效
sudo setenforce 0

2.3 关闭防火墙
1）三台机器执行关闭防火墙命令
systemctl stop firewalld
systemctl disable firewalld

2.4 新建目录
1）三台机器分别新建目录
 mkdir /opt/cloudera/parcels -p
 mkdir /opt/cloudera/parcel-cache -p
 mkdir /opt/jdk
2）hadoop01 上新建目录
 mkdir /opt/cloudera/parcel-repo -p

2.5 配置 JDK
1）三台机器分别配置 JDK 环境变量
1.1）从其他主机拷贝 jdk 文件到三台服务器上
scp -r /usr/local/jdk root@192.168.52.60:/opt/cloudera/
scp -r /opt/jdk root@192.168.52.61:/opt/
scp -r /opt/jdk root@192.168.52.62:/opt/
vim /etc/profile

JAVA_HOME=/opt/jdk
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib
export JAVA_HOME CLASSPATH PATH

1.2）生效并测试
#source /etc/profile
#java -version

2.6 配置 NTP 服务
1）三台机器分别配置 ntp 时钟服务
#yum -y install ntp ---安装 ntp
#ntpdate -u ntp1.aliyun.com ---配置阿里云时钟
#systemctl status ntpd.service 开启 ntpd 服务

3.主节点配置 MySQL
#wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
#yum -y install mysql57-community-release-el7-10.noarch.rpm
#yum -y install mysql-community-server

#systemctl start mysqld.service 启动服务
#systemctl status mysqld.service 查看服务状态

#为了加强安全性，MySQL5.7 为 root 用户随机生成了一个密码，在 error log 中，
关于 error log 的位置，如果安装的是 RPM 包，则默认是/var/log/mysqld.log。
只有启动过一次 mysql 才可以查看临时密码
#通过下面的命令查看初始密码，冒号后面的字符就是密码
grep 'temporary password' /var/log/mysqld.log
#登录 mysql 修改 root 密码
# mysql -u root -p
#validate_password_policy 代表密码策略，默认是 1：符合长度，且必须含有数
字，小写或大写字母，特殊字符。设置为 0 判断密码的标准就基于密码的长度了。
一定要先修改两个参数再修改密码
#mysql> set global validate_password_policy=0;
#validate_password_length 代表密码长度，最小值为 4
#mysql> set global validate_password_length=4;
#mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'root123456';
#mysql>flush privileges;
#mysql>exit;
mysql -uroot -proot123456

#授予权限
grant all privileges on *.* to 'root'@'hadoop01' identified by 'root123456' with
grant option;
grant all privileges on *.* to 'root'@'%' identified by 'root123456' with grant
option;
grant all privileges on *.* to 'root'@localhost identified by 'root123456' with
grant option;
#刷新权限列表
flush privileges
exit
4.安装 cloudera manager
4.1 拷贝文件
1）上传文件到服务器并拷贝到主机里指定目录下
2）拷贝 cdh 包文件
scp -r
/data/cm/app/cloudera/parcel-repo/CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel
root@192.168.52.60:/opt/cloudera/parcel-repo/
scp -r
/data/cm/app/cloudera/parcel-repo/CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel.sh

a root@192.168.52.60:/opt/cloudera/parcel-repo/
scp -r /data/cm/app/cloudera/parcel-repo/manifest.json
root@192.168.52.60:/opt/cloudera/parcel-repo/
3）拷贝 cloudera manager 管理器程序文件
scp -r /root/cloudera-manager-centos7-cm5.10.2_x86_64.tar
root@192.168.52.60:/opt/cloudera/
然后执行 tar xvf cloudera-manager-centos7-cm5.10.2_x86_64.tar 为 cm-5.10.2
scp -r /opt/cm-5.10.2 root@192.168.52.61:/opt/cloudera/
scp -r /opt/cm-5.10.2 root@192.168.52.62:/opt/cloudera/
4.2 主节点添加 scm 用户
useradd --system --home=/opt/cm-5.10.2/run/cloudera-scm-server/ --no-create-home
--shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
4.3 拷贝驱动文件
cp mysql-connector-java-5.1.40-bin.jar /opt/cm-5.10.2/share/cmf/lib/
4.4 初始化 cm 数据库
#/opt/cm-5.10.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot
-proot123456 --scm-host localhost scm scm scm

4.5 主节点启动 cloudera-scm-server
1）在 hadoop01 执行
#/opt/cm-5.10.2/etc/init.d/cloudera-scm-server start
#/opt/cm-5.10.2/etc/init.d/cloudera-scm-agent start

4.6 从节点启动 cloudera-scm-agent
1）从节点 hadoop02/03 cloudera-manger-agent 指向主节点服务器
vim /opt/cm-5.10.2/etc/cloudera-scm-agent/config.ini
将 server_host 改为 CMS 所在的主机名即 hadoop01
2）在 hadoop02、hadoop03 上执行
#/opt/cm-5.10.2/etc/init.d/cloudera-scm-agent start

4.7 安装 cloudera manager service 服务
cdh 包高度集成 hadoop 生态组件，cloudera manager 管理器进行安装 cdh 包。
1）打开浏览器输入以下地址进入 cloudera manager web 管理端
http://192.168.52.60:7180/cmf/login ---用户和密码都是 admin

2）添加 cloudera manager service

3）添加集群

4）三台机器分别拷贝 mysql 连接库到 hive/lib 下
#cp /opt/cm-5.10.2/share/cmf/lib/mysql-connector-java-5.1.40-bin.jar
/opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/lib/hive/lib/

5.添加 zookeeper 服务

6.添加 HDFS 服务
添加 HDFS 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 HDFS 服务-分配服务角色

7.添加 Hbase 服务
添加 Hbase 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 Hbase 服务-分配服务角色

8.添加 Yarn 服务
添加 Yarn 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 Yarn 服务-分配服务角色

9.添加 Hive 服务
添加 Hive 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 Hive 服务-分配服务角色-需要创建数据库

9.添加 Hive 服务
添加 Hive 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 Hive 服务-分配服务角色

 

转载于:https://www.cnblogs.com/xinfang520/p/11191997.html

这篇关于CM记录-CDH部署手册的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/428627。

相关文章

Nginx分布式部署流程分析

Nginx分布式部署流程分析

《Nginx分布式部署流程分析》文章介绍Nginx在分布式部署中的反向代理和负载均衡作用,用于分发请求、减轻服务器压力及解决session共享问题,涵盖配置方法、策略及Java项目应用,并提及分布式事... 目录分布式部署NginxJava中的代理代理分为正向代理和反向代理正向代理反向代理Nginx应用场景
阅读更多...
docker编写java的jar完整步骤记录

docker编写java的jar完整步骤记录

《docker编写java的jar完整步骤记录》在平常的开发工作中,我们经常需要部署项目,开发测试完成后,最关键的一步就是部署,：本文主要介绍docker编写java的jar的相关资料,文中通过代... 目录all-docker/生成Docker打包部署文件配置服务A的Dockerfile (a/Docke
阅读更多...
linux部署NFS和autofs自动挂载实现过程

linux部署NFS和autofs自动挂载实现过程

《linux部署NFS和autofs自动挂载实现过程》文章介绍了NFS（网络文件系统）和Autofs的原理与配置,NFS通过RPC实现跨系统文件共享,需配置/etc/exports和nfs.conf,... 目录（一）NFS1. 什么是NFS2.NFS守护进程3.RPC服务4. 原理5. 部署5.1安装NF
阅读更多...
MySQL使用EXISTS检查记录是否存在的详细过程

MySQL使用EXISTS检查记录是否存在的详细过程

《MySQL使用EXISTS检查记录是否存在的详细过程》EXISTS是SQL中用于检查子查询是否返回至少一条记录的运算符,它通常用于测试是否存在满足特定条件的记录,从而在主查询中进行相应操作,本文给大... 目录基本语法示例数据库和表结构1. 使用 EXISTS 在 SELECT 语句中2. 使用 EXIS
阅读更多...
通过Docker容器部署Python环境的全流程

通过Docker容器部署Python环境的全流程

《通过Docker容器部署Python环境的全流程》在现代化开发流程中,Docker因其轻量化、环境隔离和跨平台一致性的特性,已成为部署Python应用的标准工具,本文将详细演示如何通过Docker容... 目录引言一、docker与python的协同优势二、核心步骤详解三、进阶配置技巧四、生产环境最佳实践
阅读更多...
Nginx部署HTTP/3的实现步骤

Nginx部署HTTP/3的实现步骤

《Nginx部署HTTP/3的实现步骤》本文介绍了在Nginx中部署HTTP/3的详细步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录前提条件第一步：安装必要的依赖库第二步：获取并构建 BoringSSL第三步：获取 Nginx
阅读更多...
redis-sentinel基础概念及部署流程

redis-sentinel基础概念及部署流程

《redis-sentinel基础概念及部署流程》RedisSentinel是Redis的高可用解决方案,通过监控主从节点、自动故障转移、通知机制及配置提供,实现集群故障恢复与服务持续可用,核心组件包... 目录一. 引言二. 核心功能三. 核心组件四. 故障转移流程五. 服务部署六. sentinel部署
阅读更多...
Linux部署中的文件大小写问题的解决方案

Linux部署中的文件大小写问题的解决方案

《Linux部署中的文件大小写问题的解决方案》在本地开发环境（Windows/macOS）一切正常,但部署到Linux服务器后出现模块加载错误,核心原因是Linux文件系统严格区分大小写,所以本文给大... 目录问题背景解决方案配置要求问题背景在本地开发环境（Windows/MACOS）一切正常，但部署到
阅读更多...
基于Spring Boot 的小区人脸识别与出入记录管理系统功能

基于Spring Boot 的小区人脸识别与出入记录管理系统功能

《基于SpringBoot的小区人脸识别与出入记录管理系统功能》文章介绍基于SpringBoot框架与百度AI人脸识别API的小区出入管理系统,实现自动识别、记录及查询功能,涵盖技术选型、数据模型... 目录系统功能概述技术栈选择核心依赖配置数据模型设计出入记录实体类出入记录查询表单出入记录 VO 类（用于
阅读更多...
使用IDEA部署Docker应用指南分享

使用IDEA部署Docker应用指南分享

《使用IDEA部署Docker应用指南分享》本文介绍了使用IDEA部署Docker应用的四步流程：创建Dockerfile、配置IDEADocker连接、设置运行调试环境、构建运行镜像,并强调需准备本... 目录一、创建 dockerfile 配置文件二、配置 IDEA 的 Docker 连接三、配置 Do
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2