1.9 Cloudera CM+CDH6.2.0安装心得(问题解决锦集)

2024-03-16 13:08

本文主要是介绍1.9 Cloudera CM+CDH6.2.0安装心得(问题解决锦集),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

首先感谢,基本参照 https://www.bbsmax.com/A/QV5ZP3E4zy/
网上已经有为啥还要写,一怕其他消亡,二说明修正整理下安装过程和心得还有问题解决

下载地址

CentOS下载地址:http://isoredirect.centos.org/centos/7/isos/x86_64/
CentOS百度网盘:https://pan.baidu.com/s/196ji62wTpIAhkTw9u4P6pw:提取码:seqd

CM下载地址:https://archive.cloudera.com/cm6/
CM百度网盘地址:https://pan.baidu.com/s/1W2urUqeOPE4_cJP-IVXxGw 提取码:r1h8

CDH 下载地址:https://archive.cloudera.com/cdh6/6.2.0/parcels/
CDH百度网盘地址:https://pan.baidu.com/s/13T9cHx8VVm2Xf8KxvweJWg 提取码:hnki

集群多少配置合适

配置多高适合你们看下图就明白了 spark hive hbash hue只配了2,3
在这里插入图片描述在这里插入图片描述

虚拟机

centos/7/isos/x86_64/ 三台 需要配联网
在这里插入图片描述
在这里插入图片描述
网卡这的DNS 8.8.8.8和里面的DNS配置对齐 VM8的网自动获取 改掉和虚拟机配置的同网段地址不冲突即可

在这里插入图片描述

在这里插入图片描述
这个分区学下 其他很正常虚拟机安装差不了多少
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

配置公共环境

#进入root用户:需要输入密码

su root

#如下图中修改配置文件

ifconfig
vim /etc/sysconfig/network-scripts/ifcfg-ens33

因为要说明 一行行自己处理吧
#别打引号 重启service network restart直接木得用

BOOTPROTO=static  #这儿别漏
ONBOOT=yes   
#(三台机器IPADDR:10,11,12) 对应虚拟机DHCP区间大点 不然这大点
#188 这个和虚拟机 和 网卡那配置同网段
IPADDR=192.168.188.10  
NETMASK=255.255.255.0
#对应虚拟机NAT
GATEWAY=192.168.188.2
#对应网卡那 DNS2备用配了 好像网好点
DNS1=8.8.8.8
DNS2=114.114.114.114
#增加内容END
#修改完文件后,重启网络服务

#network restart启动失效可能是参数写错了

service network restart

验证网络是否通畅 我ping自闭了 网有些飘 可把wifi启停下

ping www.baidu.com 

永久关闭网络管理让机子强行执行静态分配

   #停止网络管理systemctl stop NetworkManager#删除网络管理systemctl disable NetworkManager#重启网络systemctl restart network.service

永久关闭网络管理让机子强行执行静态分配

#查看防火墙状态systemctl status firewalld.service
#临时关闭防火墙systemctl stop firewalld.service
#禁止firewall开机启动systemctl disable firewalld.service

关闭内核防火墙

#临时关闭内核防火墙
setenforce 0
getenforce
#永久关闭内核防火墙
vim /etc/selinux/config

下面这些在没复制或移动虚拟机前 我觉得都搞好先 多省事

yum update
yum install -y yum-utils device-mapper-persistent-data lvm2
#加个阿里云 
yum-config-manager --add-rep http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum -y install ntp

#本来是安装到后面的,先处理不香吗?搞完下面 公共部分处理完了

问题一
#临时
sysctl vm.swappiness=10
#永久
echo 'vm.swappiness=10'>> /etc/sysctl.conf
#问题二
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
#将问题二命令复制进来,转发给其他机器
vim /etc/rc.local
scp /etc/rc.local root@xxxx:/etc/

配置单独环境

首先移动或复制虚拟机,点是复制的话改了ip和host在虚拟机外面配置把网络适配器移除了在加上就好
点移动的话,改了ip和host 好像还有mac和uuid要改

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改下面的,然而没用

#cdh01机器名
vim /etc/sysconfig/network
#增加如下内容:
NETWORKING=yes
HOSTNAME=cdh01.cm#cdh02机器名
vim /etc/sysconfig/network
#增加如下内容:
NETWORKING=yes
HOSTNAME=cdh02.cm#cdh03机器名
vim /etc/sysc

这篇关于1.9 Cloudera CM+CDH6.2.0安装心得(问题解决锦集)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/815595

相关文章

qt5cored.dll报错怎么解决? 电脑qt5cored.dll文件丢失修复技巧

《qt5cored.dll报错怎么解决?电脑qt5cored.dll文件丢失修复技巧》在进行软件安装或运行程序时,有时会遇到由于找不到qt5core.dll,无法继续执行代码,这个问题可能是由于该文... 遇到qt5cored.dll文件错误时,可能会导致基于 Qt 开发的应用程序无法正常运行或启动。这种错

Python UV安装、升级、卸载详细步骤记录

《PythonUV安装、升级、卸载详细步骤记录》:本文主要介绍PythonUV安装、升级、卸载的详细步骤,uv是Astral推出的下一代Python包与项目管理器,主打单一可执行文件、极致性能... 目录安装检查升级设置自动补全卸载UV 命令总结 官方文档详见:https://docs.astral.sh/

SpringBoot排查和解决JSON解析错误(400 Bad Request)的方法

《SpringBoot排查和解决JSON解析错误(400BadRequest)的方法》在开发SpringBootRESTfulAPI时,客户端与服务端的数据交互通常使用JSON格式,然而,JSON... 目录问题背景1. 问题描述2. 错误分析解决方案1. 手动重新输入jsON2. 使用工具清理JSON3.

Nexus安装和启动的实现教程

《Nexus安装和启动的实现教程》:本文主要介绍Nexus安装和启动的实现教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Nexus下载二、Nexus安装和启动三、关闭Nexus总结一、Nexus下载官方下载链接:DownloadWindows系统根

MySQL 设置AUTO_INCREMENT 无效的问题解决

《MySQL设置AUTO_INCREMENT无效的问题解决》本文主要介绍了MySQL设置AUTO_INCREMENT无效的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参... 目录快速设置mysql的auto_increment参数一、修改 AUTO_INCREMENT 的值。

关于跨域无效的问题及解决(java后端方案)

《关于跨域无效的问题及解决(java后端方案)》:本文主要介绍关于跨域无效的问题及解决(java后端方案),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录通用后端跨域方法1、@CrossOrigin 注解2、springboot2.0 实现WebMvcConfig

Java SWT库详解与安装指南(最新推荐)

《JavaSWT库详解与安装指南(最新推荐)》:本文主要介绍JavaSWT库详解与安装指南,在本章中,我们介绍了如何下载、安装SWTJAR包,并详述了在Eclipse以及命令行环境中配置Java... 目录1. Java SWT类库概述2. SWT与AWT和Swing的区别2.1 历史背景与设计理念2.1.

Go语言中泄漏缓冲区的问题解决

《Go语言中泄漏缓冲区的问题解决》缓冲区是一种常见的数据结构,常被用于在不同的并发单元之间传递数据,然而,若缓冲区使用不当,就可能引发泄漏缓冲区问题,本文就来介绍一下问题的解决,感兴趣的可以了解一下... 目录引言泄漏缓冲区的基本概念代码示例:泄漏缓冲区的产生项目场景:Web 服务器中的请求缓冲场景描述代码

Java死锁问题解决方案及示例详解

《Java死锁问题解决方案及示例详解》死锁是指两个或多个线程因争夺资源而相互等待,导致所有线程都无法继续执行的一种状态,本文给大家详细介绍了Java死锁问题解决方案详解及实践样例,需要的朋友可以参考下... 目录1、简述死锁的四个必要条件:2、死锁示例代码3、如何检测死锁?3.1 使用 jstack3.2

解决JSONField、JsonProperty不生效的问题

《解决JSONField、JsonProperty不生效的问题》:本文主要介绍解决JSONField、JsonProperty不生效的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录jsONField、JsonProperty不生效javascript问题排查总结JSONField