6.1 CDH介绍安装安装前准备

2024-06-07 19:18
文章标签 安装 介绍 准备 6.1 cdh

本文主要是介绍6.1 CDH介绍安装安装前准备,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

CDH 是hadoop的发行版,是hadoop分支中的一种,由cloudera维护,基于稳定版的hadoop构建,提供hadoop核心
CDH3:是最早版本,对应hadoop1.x版本 开始免费版只支持50个机器
CDH4,CDH5,对应hadoop2.X版
安装方式:
clouder Manager 是一个管理CDH端到端的应用,管理监控,诊断,集成
Yum
rpm
Tarball
要是三台虚拟机:内存分配(8G内存):5,1,1
开发jar路径:/opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/lib/

注意:以下步骤除了第8步安装MySQL只在一台机子上做,其他步骤都需要做
1、网络配置 (每台虚拟机联网)
vi /etc/sysconfig/network 修改主机名称
vi /etc/hosts 做好IP机名映射
2,做好几台机子之间免密
执行命令生成密钥。ssh-keygen ,一直enter键就行    (cd /root        ls –al      cd .ssh)
拷贝主节点的公钥到所有节点中去。ssh-copy-id -i id_rsa.pub root@ node2 node2可随意修改node1 node2 (所有需要免密码的服务器)
3、防火墙关闭
service iptables stop 临时关闭防火墙
chkconfig iptables off 永久关闭防火墙
4、SELINUX关闭
setenforce 0 (临时生效)
vi /etc/selinux/config ( SELINUX=disabled) 重启后永久生效
5、安装JDK配置环境变量
上传jdk-7u67-linux-x64.rpm包到服务器
rpm -ivh jdk-7u67-linux-x64.rpm 安装jdk
vim ~/.bash_profile 打开,配置环境变量
export JAVA_HOME=/usr/java/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bash_profile 刷新环境变量
6,ntpdate自动同步时间:
yum -y install ntpdate 安装ntpdate
ntpdate s2c.time.edu.cn 同步s2c.time.edu.cn 服务器上的时间,服务器地址可以百度ntp服务器
crontab -e 添加到linux定时任务
文档内容:
*/10 * * * * /usr/sbin/ntpdate s2c.time.edu.cn 每隔10分钟执行一次
7,配置本地yum源(使用的系统版本要和源版一样),因为网络源太慢
vi /etc/yum.repos.d/CentOS-Base.repo 可以先备份该文件
文件内容(其他的都可以删除):
[base]
name=CentOS-Local
baseurl= file:///mnt/
gpgcheck= 0
配置镜像库文件:
虚拟机节点-右键-设置-CD/DVD-使用ISO镜像文件-选择CentOS-6.6-x86_64-bin-DVD1.iso完全版本的镜像文件
在虚拟机执行挂载:
mount /dev/cdrom /mnt/ 挂载
umount /mnt 取消挂载
ls /mnt/
清除yum 缓存 重新生成
yum clean all
yum makecache
8,安装配置mysql (只装一台服务器就行):
如果是centos7,直接安装MySQL会报错:

原因是:
CentOS7带有MariaDB而不是MySQL,MariaDB和MySQL一样也是开元的数据库
解决方案:
如果必须要安装MySQL,首先必须添加mysql社区repo通过输入命令:sudo rpm -Uvh http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm,最后使用像安装MySQL的常规方法一样安装mysql: yum install mysql mysql-server mysql-libs mysql-server
-------------------------------------------------------------------------------
yum -y install mysql-server yum安装MySQL
service mysqld start 启动MySQL
chkconfig mysqld on 添加到开机启动项
mysql 进入mysql客户端
use mysql 切换库
delete from user; 删除默认权限表
重新创建权限用户
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'password' WITH GRANT OPTION;
flush privileges; 刷新权限
quit 退出
mysql -u root -p 登陆(带用户)

9,下载第三方依赖包
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

这篇关于6.1 CDH介绍安装安装前准备的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1040061

相关文章

Python UV安装、升级、卸载详细步骤记录

《PythonUV安装、升级、卸载详细步骤记录》:本文主要介绍PythonUV安装、升级、卸载的详细步骤,uv是Astral推出的下一代Python包与项目管理器,主打单一可执行文件、极致性能... 目录安装检查升级设置自动补全卸载UV 命令总结 官方文档详见:https://docs.astral.sh/

Nexus安装和启动的实现教程

《Nexus安装和启动的实现教程》:本文主要介绍Nexus安装和启动的实现教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Nexus下载二、Nexus安装和启动三、关闭Nexus总结一、Nexus下载官方下载链接:DownloadWindows系统根

MybatisPlus service接口功能介绍

《MybatisPlusservice接口功能介绍》:本文主要介绍MybatisPlusservice接口功能介绍,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友... 目录Service接口基本用法进阶用法总结:Lambda方法Service接口基本用法MyBATisP

Java SWT库详解与安装指南(最新推荐)

《JavaSWT库详解与安装指南(最新推荐)》:本文主要介绍JavaSWT库详解与安装指南,在本章中,我们介绍了如何下载、安装SWTJAR包,并详述了在Eclipse以及命令行环境中配置Java... 目录1. Java SWT类库概述2. SWT与AWT和Swing的区别2.1 历史背景与设计理念2.1.

MySQL复杂SQL之多表联查/子查询详细介绍(最新整理)

《MySQL复杂SQL之多表联查/子查询详细介绍(最新整理)》掌握多表联查(INNERJOIN,LEFTJOIN,RIGHTJOIN,FULLJOIN)和子查询(标量、列、行、表子查询、相关/非相关、... 目录第一部分:多表联查 (JOIN Operations)1. 连接的类型 (JOIN Types)

安装centos8设置基础软件仓库时出错的解决方案

《安装centos8设置基础软件仓库时出错的解决方案》:本文主要介绍安装centos8设置基础软件仓库时出错的解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录安装Centos8设置基础软件仓库时出错版本 8版本 8.2.200android4版本 javas

java中BigDecimal里面的subtract函数介绍及实现方法

《java中BigDecimal里面的subtract函数介绍及实现方法》在Java中实现减法操作需要根据数据类型选择不同方法,主要分为数值型减法和字符串减法两种场景,本文给大家介绍java中BigD... 目录Java中BigDecimal里面的subtract函数的意思?一、数值型减法(高精度计算)1.

Pytorch介绍与安装过程

《Pytorch介绍与安装过程》PyTorch因其直观的设计、卓越的灵活性以及强大的动态计算图功能,迅速在学术界和工业界获得了广泛认可,成为当前深度学习研究和开发的主流工具之一,本文给大家介绍Pyto... 目录1、Pytorch介绍1.1、核心理念1.2、核心组件与功能1.3、适用场景与优势总结1.4、优

conda安装GPU版pytorch默认却是cpu版本

《conda安装GPU版pytorch默认却是cpu版本》本文主要介绍了遇到Conda安装PyTorchGPU版本却默认安装CPU的问题,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的... 目录一、问题描述二、网上解决方案罗列【此节为反面方案罗列!!!】三、发现的根本原因[独家]3.1 p

windows系统上如何进行maven安装和配置方式

《windows系统上如何进行maven安装和配置方式》:本文主要介绍windows系统上如何进行maven安装和配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录1. Maven 简介2. maven的下载与安装2.1 下载 Maven2.2 Maven安装2.