6.1 CDH介绍安装安装前准备

2024-06-07 19:18
文章标签 安装 介绍 准备 6.1 cdh

本文主要是介绍6.1 CDH介绍安装安装前准备,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

CDH 是hadoop的发行版,是hadoop分支中的一种,由cloudera维护,基于稳定版的hadoop构建,提供hadoop核心
CDH3:是最早版本,对应hadoop1.x版本 开始免费版只支持50个机器
CDH4,CDH5,对应hadoop2.X版
安装方式:
clouder Manager 是一个管理CDH端到端的应用,管理监控,诊断,集成
Yum
rpm
Tarball
要是三台虚拟机:内存分配(8G内存):5,1,1
开发jar路径:/opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/lib/

注意:以下步骤除了第8步安装MySQL只在一台机子上做,其他步骤都需要做
1、网络配置 (每台虚拟机联网)
vi /etc/sysconfig/network 修改主机名称
vi /etc/hosts 做好IP机名映射
2,做好几台机子之间免密
执行命令生成密钥。ssh-keygen ,一直enter键就行    (cd /root        ls –al      cd .ssh)
拷贝主节点的公钥到所有节点中去。ssh-copy-id -i id_rsa.pub root@ node2 node2可随意修改node1 node2 (所有需要免密码的服务器)
3、防火墙关闭
service iptables stop 临时关闭防火墙
chkconfig iptables off 永久关闭防火墙
4、SELINUX关闭
setenforce 0 (临时生效)
vi /etc/selinux/config ( SELINUX=disabled) 重启后永久生效
5、安装JDK配置环境变量
上传jdk-7u67-linux-x64.rpm包到服务器
rpm -ivh jdk-7u67-linux-x64.rpm 安装jdk
vim ~/.bash_profile 打开,配置环境变量
export JAVA_HOME=/usr/java/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bash_profile 刷新环境变量
6,ntpdate自动同步时间:
yum -y install ntpdate 安装ntpdate
ntpdate s2c.time.edu.cn 同步s2c.time.edu.cn 服务器上的时间,服务器地址可以百度ntp服务器
crontab -e 添加到linux定时任务
文档内容:
*/10 * * * * /usr/sbin/ntpdate s2c.time.edu.cn 每隔10分钟执行一次
7,配置本地yum源(使用的系统版本要和源版一样),因为网络源太慢
vi /etc/yum.repos.d/CentOS-Base.repo 可以先备份该文件
文件内容(其他的都可以删除):
[base]
name=CentOS-Local
baseurl= file:///mnt/
gpgcheck= 0
配置镜像库文件:
虚拟机节点-右键-设置-CD/DVD-使用ISO镜像文件-选择CentOS-6.6-x86_64-bin-DVD1.iso完全版本的镜像文件
在虚拟机执行挂载:
mount /dev/cdrom /mnt/ 挂载
umount /mnt 取消挂载
ls /mnt/
清除yum 缓存 重新生成
yum clean all
yum makecache
8,安装配置mysql (只装一台服务器就行):
如果是centos7,直接安装MySQL会报错:

原因是:
CentOS7带有MariaDB而不是MySQL,MariaDB和MySQL一样也是开元的数据库
解决方案:
如果必须要安装MySQL,首先必须添加mysql社区repo通过输入命令:sudo rpm -Uvh http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm,最后使用像安装MySQL的常规方法一样安装mysql: yum install mysql mysql-server mysql-libs mysql-server
-------------------------------------------------------------------------------
yum -y install mysql-server yum安装MySQL
service mysqld start 启动MySQL
chkconfig mysqld on 添加到开机启动项
mysql 进入mysql客户端
use mysql 切换库
delete from user; 删除默认权限表
重新创建权限用户
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'password' WITH GRANT OPTION;
flush privileges; 刷新权限
quit 退出
mysql -u root -p 登陆(带用户)

9,下载第三方依赖包
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

这篇关于6.1 CDH介绍安装安装前准备的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1040061

相关文章

MySQL常用字符串函数示例和场景介绍

《MySQL常用字符串函数示例和场景介绍》MySQL提供了丰富的字符串函数帮助我们高效地对字符串进行处理、转换和分析,本文我将全面且深入地介绍MySQL常用的字符串函数,并结合具体示例和场景,帮你熟练... 目录一、字符串函数概述1.1 字符串函数的作用1.2 字符串函数分类二、字符串长度与统计函数2.1

Linux系统中查询JDK安装目录的几种常用方法

《Linux系统中查询JDK安装目录的几种常用方法》:本文主要介绍Linux系统中查询JDK安装目录的几种常用方法,方法分别是通过update-alternatives、Java命令、环境变量及目... 目录方法 1:通过update-alternatives查询(推荐)方法 2:检查所有已安装的 JDK方

SQL Server安装时候没有中文选项的解决方法

《SQLServer安装时候没有中文选项的解决方法》用户安装SQLServer时界面全英文,无中文选项,通过修改安装设置中的国家或地区为中文中国,重启安装程序后界面恢复中文,解决了问题,对SQLSe... 你是不是在安装SQL Server时候发现安装界面和别人不同,并且无论如何都没有中文选项?这个问题也

2025版mysql8.0.41 winx64 手动安装详细教程

《2025版mysql8.0.41winx64手动安装详细教程》本文指导Windows系统下MySQL安装配置,包含解压、设置环境变量、my.ini配置、初始化密码获取、服务安装与手动启动等步骤,... 目录一、下载安装包二、配置环境变量三、安装配置四、启动 mysql 服务,修改密码一、下载安装包安装地

Redis MCP 安装与配置指南

《RedisMCP安装与配置指南》本文将详细介绍如何安装和配置RedisMCP,包括快速启动、源码安装、Docker安装、以及相关的配置参数和环境变量设置,感兴趣的朋友一起看看吧... 目录一、Redis MCP 简介二、安www.chinasem.cn装 Redis MCP 服务2.1 快速启动(推荐)2.

在macOS上安装jenv管理JDK版本的详细步骤

《在macOS上安装jenv管理JDK版本的详细步骤》jEnv是一个命令行工具,正如它的官网所宣称的那样,它是来让你忘记怎么配置JAVA_HOME环境变量的神队友,:本文主要介绍在macOS上安装... 目录前言安装 jenv添加 JDK 版本到 jenv切换 JDK 版本总结前言China编程在开发 Java

Linux下在线安装启动VNC教程

《Linux下在线安装启动VNC教程》本文指导在CentOS7上在线安装VNC,包含安装、配置密码、启动/停止、清理重启步骤及注意事项,强调需安装VNC桌面以避免黑屏,并解决端口冲突和目录权限问题... 目录描述安装VNC安装 VNC 桌面可能遇到的问题总结描js述linux中的VNC就类似于Window

虚拟机Centos7安装MySQL数据库实践

《虚拟机Centos7安装MySQL数据库实践》用户分享在虚拟机安装MySQL的全过程及常见问题解决方案,包括处理GPG密钥、修改密码策略、配置远程访问权限及防火墙设置,最终通过关闭防火墙和停止Net... 目录安装mysql数据库下载wget命令下载MySQL安装包安装MySQL安装MySQL服务安装完成

JAVA中安装多个JDK的方法

《JAVA中安装多个JDK的方法》文章介绍了在Windows系统上安装多个JDK版本的方法,包括下载、安装路径修改、环境变量配置(JAVA_HOME和Path),并说明如何通过调整JAVA_HOME在... 首先去oracle官网下载好两个版本不同的jdk(需要登录Oracle账号,没有可以免费注册)下载完

Java JDK1.8 安装和环境配置教程详解

《JavaJDK1.8安装和环境配置教程详解》文章简要介绍了JDK1.8的安装流程,包括官网下载对应系统版本、安装时选择非系统盘路径、配置JAVA_HOME、CLASSPATH和Path环境变量,... 目录1.下载JDK2.安装JDK3.配置环境变量4.检验JDK官网下载地址:Java Downloads