1.9 Cloudera CM+CDH6.2.0安装心得(问题解决锦集)

2024-03-16 13:08

本文主要是介绍1.9 Cloudera CM+CDH6.2.0安装心得(问题解决锦集),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

首先感谢,基本参照 https://www.bbsmax.com/A/QV5ZP3E4zy/
网上已经有为啥还要写,一怕其他消亡,二说明修正整理下安装过程和心得还有问题解决

下载地址

CentOS下载地址:http://isoredirect.centos.org/centos/7/isos/x86_64/
CentOS百度网盘:https://pan.baidu.com/s/196ji62wTpIAhkTw9u4P6pw:提取码:seqd

CM下载地址:https://archive.cloudera.com/cm6/
CM百度网盘地址:https://pan.baidu.com/s/1W2urUqeOPE4_cJP-IVXxGw 提取码:r1h8

CDH 下载地址:https://archive.cloudera.com/cdh6/6.2.0/parcels/
CDH百度网盘地址:https://pan.baidu.com/s/13T9cHx8VVm2Xf8KxvweJWg 提取码:hnki

集群多少配置合适

配置多高适合你们看下图就明白了 spark hive hbash hue只配了2,3
在这里插入图片描述在这里插入图片描述

虚拟机

centos/7/isos/x86_64/ 三台 需要配联网
在这里插入图片描述
在这里插入图片描述
网卡这的DNS 8.8.8.8和里面的DNS配置对齐 VM8的网自动获取 改掉和虚拟机配置的同网段地址不冲突即可

在这里插入图片描述

在这里插入图片描述
这个分区学下 其他很正常虚拟机安装差不了多少
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

配置公共环境

#进入root用户:需要输入密码

su root

#如下图中修改配置文件

ifconfig
vim /etc/sysconfig/network-scripts/ifcfg-ens33

因为要说明 一行行自己处理吧
#别打引号 重启service network restart直接木得用

BOOTPROTO=static  #这儿别漏
ONBOOT=yes   
#(三台机器IPADDR:10,11,12) 对应虚拟机DHCP区间大点 不然这大点
#188 这个和虚拟机 和 网卡那配置同网段
IPADDR=192.168.188.10  
NETMASK=255.255.255.0
#对应虚拟机NAT
GATEWAY=192.168.188.2
#对应网卡那 DNS2备用配了 好像网好点
DNS1=8.8.8.8
DNS2=114.114.114.114
#增加内容END
#修改完文件后,重启网络服务

#network restart启动失效可能是参数写错了

service network restart

验证网络是否通畅 我ping自闭了 网有些飘 可把wifi启停下

ping www.baidu.com 

永久关闭网络管理让机子强行执行静态分配

   #停止网络管理systemctl stop NetworkManager#删除网络管理systemctl disable NetworkManager#重启网络systemctl restart network.service

永久关闭网络管理让机子强行执行静态分配

#查看防火墙状态systemctl status firewalld.service
#临时关闭防火墙systemctl stop firewalld.service
#禁止firewall开机启动systemctl disable firewalld.service

关闭内核防火墙

#临时关闭内核防火墙
setenforce 0
getenforce
#永久关闭内核防火墙
vim /etc/selinux/config

下面这些在没复制或移动虚拟机前 我觉得都搞好先 多省事

yum update
yum install -y yum-utils device-mapper-persistent-data lvm2
#加个阿里云 
yum-config-manager --add-rep http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum -y install ntp

#本来是安装到后面的,先处理不香吗?搞完下面 公共部分处理完了

问题一
#临时
sysctl vm.swappiness=10
#永久
echo 'vm.swappiness=10'>> /etc/sysctl.conf
#问题二
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
#将问题二命令复制进来,转发给其他机器
vim /etc/rc.local
scp /etc/rc.local root@xxxx:/etc/

配置单独环境

首先移动或复制虚拟机,点是复制的话改了ip和host在虚拟机外面配置把网络适配器移除了在加上就好
点移动的话,改了ip和host 好像还有mac和uuid要改

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改下面的,然而没用

#cdh01机器名
vim /etc/sysconfig/network
#增加如下内容:
NETWORKING=yes
HOSTNAME=cdh01.cm#cdh02机器名
vim /etc/sysconfig/network
#增加如下内容:
NETWORKING=yes
HOSTNAME=cdh02.cm#cdh03机器名
vim /etc/sysc

这篇关于1.9 Cloudera CM+CDH6.2.0安装心得(问题解决锦集)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/815595

相关文章

线上Java OOM问题定位与解决方案超详细解析

《线上JavaOOM问题定位与解决方案超详细解析》OOM是JVM抛出的错误,表示内存分配失败,:本文主要介绍线上JavaOOM问题定位与解决方案的相关资料,文中通过代码介绍的非常详细,需要的朋... 目录一、OOM问题核心认知1.1 OOM定义与技术定位1.2 OOM常见类型及技术特征二、OOM问题定位工具

C++右移运算符的一个小坑及解决

《C++右移运算符的一个小坑及解决》文章指出右移运算符处理负数时左侧补1导致死循环,与除法行为不同,强调需注意补码机制以正确统计二进制1的个数... 目录我遇到了这么一个www.chinasem.cn函数由此可以看到也很好理解总结我遇到了这么一个函数template<typename T>unsigned

Vue3绑定props默认值问题

《Vue3绑定props默认值问题》使用Vue3的defineProps配合TypeScript的interface定义props类型,并通过withDefaults设置默认值,使组件能安全访问传入的... 目录前言步骤步骤1:使用 defineProps 定义 Props步骤2:设置默认值总结前言使用T

RabbitMQ 延时队列插件安装与使用示例详解(基于 Delayed Message Plugin)

《RabbitMQ延时队列插件安装与使用示例详解(基于DelayedMessagePlugin)》本文详解RabbitMQ通过安装rabbitmq_delayed_message_exchan... 目录 一、什么是 RabbitMQ 延时队列? 二、安装前准备✅ RabbitMQ 环境要求 三、安装延时队

504 Gateway Timeout网关超时的根源及完美解决方法

《504GatewayTimeout网关超时的根源及完美解决方法》在日常开发和运维过程中,504GatewayTimeout错误是常见的网络问题之一,尤其是在使用反向代理(如Nginx)或... 目录引言为什么会出现 504 错误?1. 探索 504 Gateway Timeout 错误的根源 1.1 后端

Web服务器-Nginx-高并发问题

《Web服务器-Nginx-高并发问题》Nginx通过事件驱动、I/O多路复用和异步非阻塞技术高效处理高并发,结合动静分离和限流策略,提升性能与稳定性... 目录前言一、架构1. 原生多进程架构2. 事件驱动模型3. IO多路复用4. 异步非阻塞 I/O5. Nginx高并发配置实战二、动静分离1. 职责2

解决升级JDK报错:module java.base does not“opens java.lang.reflect“to unnamed module问题

《解决升级JDK报错:modulejava.basedoesnot“opensjava.lang.reflect“tounnamedmodule问题》SpringBoot启动错误源于Jav... 目录问题描述原因分析解决方案总结问题描述启动sprintboot时报以下错误原因分析编程异js常是由Ja

linux系统上安装JDK8全过程

《linux系统上安装JDK8全过程》文章介绍安装JDK的必要性及Linux下JDK8的安装步骤,包括卸载旧版本、下载解压、配置环境变量等,强调开发需JDK,运行可选JRE,现JDK已集成JRE... 目录为什么要安装jdk?1.查看linux系统是否有自带的jdk:2.下载jdk压缩包2.解压3.配置环境

深度剖析SpringBoot日志性能提升的原因与解决

《深度剖析SpringBoot日志性能提升的原因与解决》日志记录本该是辅助工具,却为何成了性能瓶颈,SpringBoot如何用代码彻底破解日志导致的高延迟问题,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言第一章:日志性能陷阱的底层原理1.1 日志级别的“双刃剑”效应1.2 同步日志的“吞吐量杀手”

MySQL 表空却 ibd 文件过大的问题及解决方法

《MySQL表空却ibd文件过大的问题及解决方法》本文给大家介绍MySQL表空却ibd文件过大的问题及解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考... 目录一、问题背景:表空却 “吃满” 磁盘的怪事二、问题复现:一步步编程还原异常场景1. 准备测试源表与数据