cdh6.3专题
CentOS 7.9 CDH6.3.2集群生产环境实战部署指南
一、环境准备 1、系统环境： # cat /etc/os-release 2、准备工作： 部署资源分配 节点centos 7.9（生产）节点规划Postgresql部署组件备注pgsql32c、128G、2TB国产数据库Postgresql（翰高）可根据实际情况调整如mysql、mongoDBcdh0116c、128G、1TBmaster agentjdk1.8cdh0216c、
Centos 7 离线安装Cloudera Manager6 和CDH6.3.1
零、前言 之前写过一篇CDH5的，本文是在之前操作基础上进行的 Centos 7 离线安装Cloudera Manager5 和CDH5.13.0 CDH6与CDH5安装的整体流程基本一致，而且简单了不少。 一、前期准备 安装环境 系统配置： 系统：centos 7 64位 关于内存，《Hbase权威指南》中master建议24G内存，而slave机器则建议24G及以上配置。机器内存
CDH6.3应知应会
文章目录 1. CDH 简介1.1 CDH版本 2. CDH 集群的优势是什么？3. CDH 集群的部署方式有哪些？4. CDH 集群中如何进行故障排除和监控？5. 你有使用 CDH 部署集群的经验吗？6. CDH 集群如何实现高可用性？7. 在 CDH 集群中，如何进行版本升级？8. CDH 集群中的数据安全如何保障？9. 什么是Kerberos9.1 Kerberos概念9.2 Kerb
CDH6.3.2编译安装Hudi0.9
Hudi0.9在Flinksql写入的时候有BUG，在Hudi0.10解决了这个问题 1.准备编译环境 1) Maven安装 （1）把apache-maven-3.6.1-bin.tar.gz上传到linux的/data/software目录下 （2）解压apache-maven-3.6.1-bin.tar.gz到/data/module/目录下面 tar -zxvf apache-ma
flink1.14.5使用CDH6.3.2的yarn提交作业
使用CDH6.3.2安装了hadoop集群，但是CDH不支持flink的安装，网上有CDH集成flink的文章，大都比较麻烦；但其实我们只需要把flink的作业提交到yarn集群即可，接下来以CDH yarn为基础，flink on yarn模式的配置步骤。 一、部署flink 1、下载解压 官方下载地址：Downloads | Apache Flink 注意：CDH6.3.2是使用的sc
CDH6.3.2，不互通的cdh平台互导hive数据
1、先导出所有建表语句，在源CDH服务器命令行输入下面命令，该库下所有建表语句保存至hive目录中的tables.sql文件中，不知道具体路径可以全局搜索一下，拿到源库hive的建表语句后，稍微处理一下，去目标库把表建好。 hive -e "use database; show tables;" | xargs -I '{}' sh -c 'hive -e "use database; show
绝对实用-Docker单节点和跨服务搭建CDH6.3.2集群
前言 承蒙朋友的关照，让我在短时间内从零学会安装使用CDH和Docker，并将其融会贯通，完成Docker搭建CDH集群的工作。在这我也将整个安装流程和心得，尽可能详细的阐述清楚，让各位在安装搭建之路上，少走弯路，理清思路。 本制作安装的全部流程，在虚拟机，阿里云，腾讯云上都可实践制作部署，使用的版本情况：CentOS 7 ，CDH6.3 ，Flink1.
阿里云安装CDH6.3.2并集成flink1.12
1.购买阿里云服务器，修改配置信息 如果有服务器可以跳过前面购买流程,如果没有服务器只是作为测试练习的话可使用抢占实例的服务器，一天几块钱（按小时使用时长收费）但是服务器有百分之0-3的回收率 选择4核16GB的服务器，通用型g5最便宜所以选择这个 选择无确定使用时长。三台实例，镜像选择centos7.5，硬盘40GB 选择交换机所在地址，宽带峰值可自由调配，毕竟按流量收费 下一
centos7安装CDH6.3.2
一、部署前准备 # cat /etc/redhat-release CentOS Linux release 7.9.2009 (Core) # systemctl stop firewalld.service && systemctl disable firewalld.service # setenforce 0 # sed -i 's#SELINUX=enforcing#SELIN
CDH6.3.2 和HDP 3.15 百度网盘下载
下载免费版本的CDH6.3.2，请关注 庶说大数据 发送CDH 获取提取码 https://pan.baidu.com/s/1bSEJ3z7eMYFUtE0g689fwg 下载免费版本的HDP3.1.5，请关注 庶说大数据 发送HDP 获取提取码 https://pan.baidu.com/s/1zpVBTbFNcA-oQDrWxJA74g
搭建Atlas2.2.0 集成CDH6.3.2 生产环境+kerberos
首先确保环境的干净，如果之前有安装过清理掉相关残留 确保安装atlas的服务器有足够的内存（至少16G），有必要的hadoop角色 HDFS客户端 — 检索和更新Hadoop使用的用户组信息（UGI）中帐户成员资格的信息。对调试很有用。HBase Client - Atlas 存储其 Janus 数据库，用于初始导入 HBase 内容，因此它需要持续访问 HBase 服务中的两个表。Hiv
记一次生产环境cdh6.3.2集群yarn组件nodemanager节点down掉的事故分析
有关2023.10.2日发现的yarn部分nodeManager组件节点不可用的原因分析 yarn组件异常情况始于2023.09.30日06时00分，恢复于2023.10.02日10点35分。每日凌晨6点，大数据定时任务：task1启动，该任务持续时长1小时20~25分钟左右，是mapreduce引擎类型任务，会使用大量cpu资源。赶上国庆节假日出行，遇到数据处理波峰，从大行程统计看，大行程从1
记一次惊险的CDH6.3.2集群断电后重启的过程
重启服务 systemctl restart cloudera-scm-server.servicesystemctl restart cloudera-scm-agent.service 查看服务是否启动，显然结果是failed systemctl status cloudera-scm-server.service 查看异常 journalctl -xe 去看服务日志
cdh6.3.2集群在线主机扩容
cdh6.3.2集群在线主机扩容 配置主机到添加节点的免密配置jdk挂在数据盘关闭添加节点的防火墙和selinux修改添加节点的hostname修改添加节点的/etc/hosts，添加主节点的hostname和ip地址的对应修改添加节点的时钟同步 & 重启时钟，将时钟的server保持和主节点一致发送安装包 & 安装 & 开机自启动，将以下这两个rpm包发送到添加节点上。 cloudera-ma