cdh部署

2024-08-30 18:32
文章标签 部署 cdh

本文主要是介绍cdh部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

cdh部署

 

 

supermicro安装环境

本次安装基于无因特网的环境，共安装2个节点（一个master节点，一个data及节点），所用系统为centos7.x,所有安装过程均使用root用户。具体的节点信息如下:

节点名称

节点id

mgmt

192.168.111.134

data1

192.168.111.135

安装步骤

环境准备

  1. 1.       上传安装软件包到主机(仅主节点)

在根目录创建soft文件夹：mkdir /soft

通过scp工具将所有软件包上传

 

  1. 2.       网络配置（所有节点）

修改主机名：vim /etc/sysconfig/network

NETWORKING=yes 

HOSTNAME={主机名称}

例如:

 

 

修改host名称：vi /etc/hostname

 

 

修改ip与主机名的对应关系：vim /etc/hosts

 

重启网卡：service network restart

 

  1. 3.       打通SSH，设置ssh无密码登陆（所有节点）

以下命令在mgmt节点执行

生成密钥：ssh-keygen -t rsa一直回车直至生成

 

将公钥复制到已认证文件:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

更改authorized_keys权限:chmod 600 ~/.ssh/authorized_keys

将authorized_keys复制到data1节点：scp ~/.ssh/authorized_keys root@data1:~/.ssh/

以下命令在data1节点执行

生成密钥：ssh-keygen -t rsa

将本机密钥追加到mgmt公钥中：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

将新的authorized_keys重新复制回mgmt：scp ~/.ssh/authorized_keys root@mgmt:~/.ssh/

这样，两台主机将能够免密码登录。这时两台主机的authorized_keys如下:

 

  1. 4.       安装jdk（所有节点）

卸载自带的openjdk

查看自带jdk版本：rpm -qa | grep java

 

根据相依的版本卸载对应的jdk，如:rpm -e --nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115

如果/usr/java/文件夹不存在，则创建该文件夹：mkdir /usr/java

以下命令在主节点执行

解压jdk安装包: tar -xvf jdk*.tar.gz -C /usr/java/

将jdk复制到各个子节点:scp -r /usr/java/ root@data1:/usr/

以下命令在所有节点执行

创建jdk软连接: ln -s /usr/java/jdk* /usr/java/default

执行完毕后每一个节点的/user/java目录如下:

 

配置环境变量/etc/profile，增加一下3行

export JAVA_HOME=/usr/java/default

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

调用命令使修改生效:source /etc/profile

调用 java –version 查看jdk是否安装成功

 

  1. 5.       关闭防火墙和SELinux（所有节点）

关闭防火墙

停止firewall：systemctl stop firewalld.service

禁止firewall开机启动：systemctl disable firewalld.service

查看默认防火墙状态：firewall-cmd --state #（关闭后显示notrunning，开启后显示running）

 

关闭SELinux： set enforce 0（临时生效）

修改vi /etc/selinux/config下的

SELINUX=disabled

 

  1. 安装数据库Mariadb（仅主节点）

cd /soft/

解压/soft/localReop.zip：unzip /soft/localRepo.zip

备份本地yum配置：cp -r /etc/yum.repos.d /etc/yum.repos.d.back

删除yun源配置:rm -rf /etc/yum.repos.d/*

复制新的yum源：cp –r local_repo.repo /etc/yum.repos.d

清除yum源缓存:yum clean all

刷新yum源：yum repolist

安装 mariadb：yum -y install mariadb mariadb-server

启动mariadb：systemctl start mariadb

通过命令: mysql -uroot进入Mariadb，并依次输入一下sql命令：

use mysql;

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;

GRANT ALL PRIVILEGES ON *.* TO 'root'@'mgmt' IDENTIFIED BY 'root' WITH GRANT OPTION;

flush privileges;

create database hive DEFAULT CHARSET latin1;

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 

create database rm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database nas DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database nms DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

至此准备工作全部结束。

安装Cloudera Manager Server 和Agent

解压Cloudera Manager安装包到/opt：tar -zxvf /soft/cloudera-manager-centos7-cm5.6.1_x86_64.tar.gz -C /opt/

复制mysql驱动：cp /soft/mysql-connector-java-5.1.37.jar /opt/cm-5.6.1/share/cmf/lib/

复制mysql驱动(不能要版本号)：cp /soft/mysql-connector-java-5.1.37.jar /usr/share/java/mysql-connector-java.jar

初始化cm数据库：/opt/cm-5.6.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hmgmt -uroot -proot --scm-host mgmt scm scm scm

在这里后面的参数分别是：数据库类型数据库名称数据库主机名数据库用户名密码 --scm-host cmserver主机名 scm scm scm

修改agent配置：vi /opt/cm-5.6.1/etc/cloudera-scm-agent/config.ini

修改配置server_host=mgmt

 

替换压缩包中的client_configs.py文件：cp /soft/client_configs.5.6.1.py /opt/cm-5.6.1/lib64/cmf/agent/src/cmf/client_configs.py

同步Agent到其他所有节点：scp -r /opt/cm-5.6.1/ root@data1:/opt/

以下命令在所有节点运行：

在所有节点创建cloudera-scm用户：useradd --system --home=/opt/cm-5.6.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm 

以下命令在主节点运行：

cp /soft/CDH-5.6.1-1.cdh5.6.1.p0.3-el7.parcel /opt/cloudera/parcel-repo/

cp /soft/CDH-5.6.1-1.cdh5.6.1.p0.3-el7.parcel.sha1 /opt/cloudera/parcel-repo/

cp /soft/manifest.json /opt/cloudera/parcel-repo/

mv /opt/cloudera/parcel-repo/CDH-5.6.1-1.cdh5.6.1.p0.3-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.6.1-1.cdh5.6.1.p0.3-el7.parcel.sha

 

在主节点启动cloudera-scm-server服务：/opt/cm-5.6.1/etc/init.d/cloudera-scm-server start

在所有节点启动cloudera-scm- agent服务：/opt/cm-5.6.1/etc/init.d/cloudera-scm-agent start

在浏览器输入：http://mgmt:7180/cmf/login进入cdh安装界面。

使用用户名：admin密码：admin进行登录。

 

 

选择当前管理的主机，全部勾选，点击继续

 

选择使用parcel包安装，并选择5.6.1版本，点击继续。

 

等待分配激活。

 

等待主机检查。

 

选择所有服务。

 

根据需求选择主机角色。

 

设置各个组件数据库。

 

其中HDFS配置时：NameNode选择name1，SecondaryNameNode选择name2，DataNode选择data节点。

 

根据需求配置hdfs。

 

等待集群初始化。

 

DataNode数据目录需放最大的盘，其他位默认值，df命令查看磁盘空间。

 

至此cdh安装完毕。

 

当hive启动报错，出现mysql中不能自动建表，需要在hive的配置中添加如下代码：

位置：

hive-site.xml 的 Hive 服务高级配置代码段（安全阀）

Hive（服务范围） 

添加代码：（实现mysql自动创表）

<property> 

    <name>datanucleus.readOnlyDatastore</name> 

    <value>false</value> 

</property> 

<property>  

    <name>datanucleus.fixedDatastore</name> 

    <value>false</value>  

</property> 

<property>  

    <name>datanucleus.autoCreateSchema</name>  

    <value>true</value>  

</property> 

<property> 

    <name>datanucleus.autoCreateTables</name> 

    <value>true</value> 

</property> 

<property> 

    <name>datanucleus.autoCreateColumns</name> 

    <value>true</value> 

</property> 

hive-site.xml 的 Hive 复制高级配置代码段（安全阀）

<property> 

    <name>datanucleus.readOnlyDatastore</name> 

    <value>false</value> 

</property> 

<property>  

    <name>datanucleus.fixedDatastore</name> 

    <value>false</value>  

</property> 

<property>  

    <name>datanucleus.autoCreateSchema</name>  

    <value>true</value>  

</property> 

<property> 

    <name>datanucleus.autoCreateTables</name> 

    <value>true</value> 

</property> 

<property> 

    <name>datanucleus.autoCreateColumns</name> 

    <value>true</value> 

</property> 

并按下图进行配置：

 

关机后，系统需要重新启动：

  1. 首先启动mariadb

service mariadb start

  1. 然后启动cloudarer服务

/opt/cm-5.6.1/etc/init.d/cloudera-scm-server start

  1. 查看启动状态

/opt/cm-5.6.1/etc/init.d/cloudera-scm-server status

4.同时启动agent

/opt/cm-5.6.1/etc/init.d/cloudera-scm-agent start

 

 

 

 

 

 

 

设置开机启动：

systemctl enable mariadb

主节点上

cp /opt/cm-5.6.1/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server

 

vim /etc/init.d/cloudera-scm-server

CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}改为CMF_DEFAULTS=${CMF_DEFAULTS:-/opt/cm-5.6.1/etc/default}

 

chkconfig --add cloudera-scm-server

chkconfig cloudera-scm-server on

 

所有节点上

cp /opt/cm-5.6.1//etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent

 

vim /etc/init.d/cloudera-scm-agent

CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}改为CMF_DEFAULTS=${CMF_DEFAULTS:-/opt/cm-5.6.1/etc/default}

 

chkconfig --add cloudera-scm-agent

chkconfig cloudera-scm-agent on

 

 

 

针对hive创建库失败的修改：

  1. 需要在cdh的管理界面中点击hdfs，修改其中的权限。
  2. 点击配置，将检查 HDFS 权限的√去掉。
  3. 点击安全性，Hadoop 安全授权勾选，并且在授权的用户中添加要授权的root。

针对hive创建表失败的修改：

1.需要连接hive的mysql，在hive的库中修改字符集，要使用latin1。

 

安装过程中如果出错，需删除数据库cm，然后删除以下目录中的内容（所有节点）：

cd /opt/cm-5.6.1/run/cloudera-scm-agent/

rm -rf  ./*

然后初始化cm数据库：/opt/cm-5.6.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hmgmt -uroot -proot --scm-host mgmt scm scm scm

 

 

 

 

 

选择空间比较大的盘来安装

 

Sqoop从Oracle导入到hive

将Oracle驱动包ojdbc6.jar放到 sqoop/lib下

 

 

sqoop import --connect ‘jdbc:oracle:thin:@10.111.123.4:1521:orcl?useUnicode=true&characterEncoding=UTF-8’ --username CETC --password CETC123 --hive-drop-import-delims --table CETC2.KC21K1 --split-by id --hive-import

 

posted @ 2018-08-22 01:31 酸奶加绿茶 阅读( ...) 评论( ...) 编辑 收藏

这篇关于cdh部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1121602。

相关文章

通过Docker容器部署Python环境的全流程

通过Docker容器部署Python环境的全流程

《通过Docker容器部署Python环境的全流程》在现代化开发流程中,Docker因其轻量化、环境隔离和跨平台一致性的特性,已成为部署Python应用的标准工具,本文将详细演示如何通过Docker容... 目录引言一、docker与python的协同优势二、核心步骤详解三、进阶配置技巧四、生产环境最佳实践
阅读更多...
Nginx部署HTTP/3的实现步骤

Nginx部署HTTP/3的实现步骤

《Nginx部署HTTP/3的实现步骤》本文介绍了在Nginx中部署HTTP/3的详细步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录前提条件第一步：安装必要的依赖库第二步：获取并构建 BoringSSL第三步：获取 Nginx
阅读更多...
redis-sentinel基础概念及部署流程

redis-sentinel基础概念及部署流程

《redis-sentinel基础概念及部署流程》RedisSentinel是Redis的高可用解决方案,通过监控主从节点、自动故障转移、通知机制及配置提供,实现集群故障恢复与服务持续可用,核心组件包... 目录一. 引言二. 核心功能三. 核心组件四. 故障转移流程五. 服务部署六. sentinel部署
阅读更多...
Linux部署中的文件大小写问题的解决方案

Linux部署中的文件大小写问题的解决方案

《Linux部署中的文件大小写问题的解决方案》在本地开发环境（Windows/macOS）一切正常,但部署到Linux服务器后出现模块加载错误,核心原因是Linux文件系统严格区分大小写,所以本文给大... 目录问题背景解决方案配置要求问题背景在本地开发环境（Windows/MACOS）一切正常，但部署到
阅读更多...
使用IDEA部署Docker应用指南分享

使用IDEA部署Docker应用指南分享

《使用IDEA部署Docker应用指南分享》本文介绍了使用IDEA部署Docker应用的四步流程：创建Dockerfile、配置IDEADocker连接、设置运行调试环境、构建运行镜像,并强调需准备本... 目录一、创建 dockerfile 配置文件二、配置 IDEA 的 Docker 连接三、配置 Do
阅读更多...
MySQL 主从复制部署及验证(示例详解)

MySQL 主从复制部署及验证(示例详解)

《MySQL主从复制部署及验证(示例详解)》本文介绍MySQL主从复制部署步骤及学校管理数据库创建脚本,包含表结构设计、示例数据插入和查询语句,用于验证主从同步功能,感兴趣的朋友一起看看吧... 目录mysql 主从复制部署指南部署步骤1.环境准备2. 主服务器配置3. 创建复制用户4. 获取主服务器状态5
阅读更多...
golang程序打包成脚本部署到Linux系统方式

golang程序打包成脚本部署到Linux系统方式

《golang程序打包成脚本部署到Linux系统方式》Golang程序通过本地编译（设置GOOS为linux生成无后缀二进制文件）,上传至Linux服务器后赋权执行,使用nohup命令实现后台运行,完... 目录本地编译golang程序上传Golang二进制文件到linux服务器总结本地编译Golang程序
阅读更多...
如何在Ubuntu 24.04上部署Zabbix 7.0对服务器进行监控

如何在Ubuntu 24.04上部署Zabbix 7.0对服务器进行监控

《如何在Ubuntu24.04上部署Zabbix7.0对服务器进行监控》在Ubuntu24.04上部署Zabbix7.0监控阿里云ECS服务器,需配置MariaDB数据库、开放10050/1005... 目录软硬件信息部署步骤步骤 1：安装并配置mariadb步骤 2：安装Zabbix 7.0 Server
阅读更多...
Web技术与Nginx网站环境部署教程

Web技术与Nginx网站环境部署教程

《Web技术与Nginx网站环境部署教程》：本文主要介绍Web技术与Nginx网站环境部署教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Web基础1.域名系统DNS2.Hosts文件3.DNS4.域名注册二.网页与html1.网页概述2.HTML概述3.
阅读更多...
Nginx使用Keepalived部署web集群（高可用高性能负载均衡）实战案例

Nginx使用Keepalived部署web集群（高可用高性能负载均衡）实战案例

《Nginx使用Keepalived部署web集群（高可用高性能负载均衡）实战案例》本文介绍Nginx+Keepalived实现Web集群高可用负载均衡的部署与测试,涵盖架构设计、环境配置、健康检查、... 目录前言一、架构设计二、环境准备三、案例部署配置 前端 Keepalived配置 前端 Nginx
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2