1.9 Cloudera CM+CDH6.2.0安装心得(问题解决锦集)

2024-03-16 13:08

本文主要是介绍1.9 Cloudera CM+CDH6.2.0安装心得(问题解决锦集),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

首先感谢,基本参照 https://www.bbsmax.com/A/QV5ZP3E4zy/
网上已经有为啥还要写,一怕其他消亡,二说明修正整理下安装过程和心得还有问题解决

下载地址

CentOS下载地址:http://isoredirect.centos.org/centos/7/isos/x86_64/
CentOS百度网盘:https://pan.baidu.com/s/196ji62wTpIAhkTw9u4P6pw:提取码:seqd

CM下载地址:https://archive.cloudera.com/cm6/
CM百度网盘地址:https://pan.baidu.com/s/1W2urUqeOPE4_cJP-IVXxGw 提取码:r1h8

CDH 下载地址:https://archive.cloudera.com/cdh6/6.2.0/parcels/
CDH百度网盘地址:https://pan.baidu.com/s/13T9cHx8VVm2Xf8KxvweJWg 提取码:hnki

集群多少配置合适

配置多高适合你们看下图就明白了 spark hive hbash hue只配了2,3
在这里插入图片描述在这里插入图片描述

虚拟机

centos/7/isos/x86_64/ 三台 需要配联网
在这里插入图片描述
在这里插入图片描述
网卡这的DNS 8.8.8.8和里面的DNS配置对齐 VM8的网自动获取 改掉和虚拟机配置的同网段地址不冲突即可

在这里插入图片描述

在这里插入图片描述
这个分区学下 其他很正常虚拟机安装差不了多少
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

配置公共环境

#进入root用户:需要输入密码

su root

#如下图中修改配置文件

ifconfig
vim /etc/sysconfig/network-scripts/ifcfg-ens33

因为要说明 一行行自己处理吧
#别打引号 重启service network restart直接木得用

BOOTPROTO=static  #这儿别漏
ONBOOT=yes   
#(三台机器IPADDR:10,11,12) 对应虚拟机DHCP区间大点 不然这大点
#188 这个和虚拟机 和 网卡那配置同网段
IPADDR=192.168.188.10  
NETMASK=255.255.255.0
#对应虚拟机NAT
GATEWAY=192.168.188.2
#对应网卡那 DNS2备用配了 好像网好点
DNS1=8.8.8.8
DNS2=114.114.114.114
#增加内容END
#修改完文件后,重启网络服务

#network restart启动失效可能是参数写错了

service network restart

验证网络是否通畅 我ping自闭了 网有些飘 可把wifi启停下

ping www.baidu.com 

永久关闭网络管理让机子强行执行静态分配

   #停止网络管理systemctl stop NetworkManager#删除网络管理systemctl disable NetworkManager#重启网络systemctl restart network.service

永久关闭网络管理让机子强行执行静态分配

#查看防火墙状态systemctl status firewalld.service
#临时关闭防火墙systemctl stop firewalld.service
#禁止firewall开机启动systemctl disable firewalld.service

关闭内核防火墙

#临时关闭内核防火墙
setenforce 0
getenforce
#永久关闭内核防火墙
vim /etc/selinux/config

下面这些在没复制或移动虚拟机前 我觉得都搞好先 多省事

yum update
yum install -y yum-utils device-mapper-persistent-data lvm2
#加个阿里云 
yum-config-manager --add-rep http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum -y install ntp

#本来是安装到后面的,先处理不香吗?搞完下面 公共部分处理完了

问题一
#临时
sysctl vm.swappiness=10
#永久
echo 'vm.swappiness=10'>> /etc/sysctl.conf
#问题二
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
#将问题二命令复制进来,转发给其他机器
vim /etc/rc.local
scp /etc/rc.local root@xxxx:/etc/

配置单独环境

首先移动或复制虚拟机,点是复制的话改了ip和host在虚拟机外面配置把网络适配器移除了在加上就好
点移动的话,改了ip和host 好像还有mac和uuid要改

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改下面的,然而没用

#cdh01机器名
vim /etc/sysconfig/network
#增加如下内容:
NETWORKING=yes
HOSTNAME=cdh01.cm#cdh02机器名
vim /etc/sysconfig/network
#增加如下内容:
NETWORKING=yes
HOSTNAME=cdh02.cm#cdh03机器名
vim /etc/sysc

这篇关于1.9 Cloudera CM+CDH6.2.0安装心得(问题解决锦集)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/815595

相关文章

win10安装及配置Gradle全过程

《win10安装及配置Gradle全过程》本文详细介绍了Gradle的下载、安装、环境变量配置以及如何修改本地仓库位置,通过这些步骤,用户可以成功安装并配置Gradle,以便进行项目构建... 目录一、Gradle下载1.1、Gradle下载地址1.2、Gradle下载步骤二、Gradle安装步骤2.1、安

IDEA和GIT关于文件中LF和CRLF问题及解决

《IDEA和GIT关于文件中LF和CRLF问题及解决》文章总结:因IDEA默认使用CRLF换行符导致Shell脚本在Linux运行报错,需在编辑器和Git中统一为LF,通过调整Git的core.aut... 目录问题描述问题思考解决过程总结问题描述项目软件安装shell脚本上git仓库管理,但拉取后,上l

解决docker目录内存不足扩容处理方案

《解决docker目录内存不足扩容处理方案》文章介绍了Docker存储目录迁移方法:因系统盘空间不足,需将Docker数据迁移到更大磁盘(如/home/docker),通过修改daemon.json配... 目录1、查看服务器所有磁盘的使用情况2、查看docker镜像和容器存储目录的空间大小3、停止dock

idea npm install很慢问题及解决(nodejs)

《ideanpminstall很慢问题及解决(nodejs)》npm安装速度慢可通过配置国内镜像源(如淘宝)、清理缓存及切换工具解决,建议设置全局镜像(npmconfigsetregistryht... 目录idea npm install很慢(nodejs)配置国内镜像源清理缓存总结idea npm in

pycharm跑python项目易出错的问题总结

《pycharm跑python项目易出错的问题总结》:本文主要介绍pycharm跑python项目易出错问题的相关资料,当你在PyCharm中运行Python程序时遇到报错,可以按照以下步骤进行排... 1. 一定不要在pycharm终端里面创建环境安装别人的项目子模块等,有可能出现的问题就是你不报错都安装

idea突然报错Malformed \uxxxx encoding问题及解决

《idea突然报错Malformeduxxxxencoding问题及解决》Maven项目在切换Git分支时报错,提示project元素为描述符根元素,解决方法:删除Maven仓库中的resolv... 目www.chinasem.cn录问题解决方式总结问题idea 上的 maven China编程项目突然报错,是

在Ubuntu上打不开GitHub的完整解决方法

《在Ubuntu上打不开GitHub的完整解决方法》当你满心欢喜打开Ubuntu准备推送代码时,突然发现终端里的gitpush卡成狗,浏览器里的GitHub页面直接变成Whoathere!警告页面... 目录一、那些年我们遇到的"红色惊叹号"二、三大症状快速诊断症状1:浏览器直接无法访问症状2:终端操作异常

mybatis直接执行完整sql及踩坑解决

《mybatis直接执行完整sql及踩坑解决》MyBatis可通过select标签执行动态SQL,DQL用ListLinkedHashMap接收结果,DML用int处理,注意防御SQL注入,优先使用#... 目录myBATiFBNZQs直接执行完整sql及踩坑select语句采用count、insert、u

Python爬虫HTTPS使用requests,httpx,aiohttp实战中的证书异步等问题

《Python爬虫HTTPS使用requests,httpx,aiohttp实战中的证书异步等问题》在爬虫工程里,“HTTPS”是绕不开的话题,HTTPS为传输加密提供保护,同时也给爬虫带来证书校验、... 目录一、核心问题与优先级检查(先问三件事)二、基础示例:requests 与证书处理三、高并发选型:

前端导出Excel文件出现乱码或文件损坏问题的解决办法

《前端导出Excel文件出现乱码或文件损坏问题的解决办法》在现代网页应用程序中,前端有时需要与后端进行数据交互,包括下载文件,:本文主要介绍前端导出Excel文件出现乱码或文件损坏问题的解决办法,... 目录1. 检查后端返回的数据格式2. 前端正确处理二进制数据方案 1:直接下载(推荐)方案 2:手动构造