最全ambari2.7.3+hdp3.1.0 集群搭建及常见问题解决办法整理

本文主要是介绍最全ambari2.7.3+hdp3.1.0 集群搭建及常见问题解决办法整理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

ambari2.7.3+hdp3.1.0 集群搭建

一、基本环境设置

a、VMware14.0安装包

http://bigsoft.zdfans.wang/VMware_5928.zip

b、CentOS-7-x86_64-Minimal-1810.iso

http://mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1810.iso

c、win10下VMware安装CentOS7并配置⽹络教程

配置内核为4,磁盘空间为30G ,内存为2~4G都可以!

https://blog.csdn.net/zyq_2014/article/details/79692181

d、安装好主节点后打开修改主机名

hostname 主机名

vi /etc/hostname 修改主机名

hostnamectl set-hostname 主机名

e、关机,克隆。修改另外三个从节点的ip和主机名。

虚拟机访问地址

192.168.154.20

192.168.154.21

192.168.154.22

192.168.154.23

二、每个节点host设置

主机名最好符合规范,否则主机注册会出现问题。命名参考如下

图片

192.168.154.20 master1.xd.edu.cn

192.168.154.21 slave1.xd.edu.cn

192.168.154.22 slave2.xd.edu.cn

192.168.154.23 slave3.xd.edu.cn

补充:

修改主机名方法:

a、hostname 主机名

b、vi /etc/hostname 修改主机名

c、hostnamectl set-hostname 主机名

c、vi /etc/hosts 完成ip和域名的映射

三、操作系统环境准备

3.1 配置ssh免密登录

https://blog.csdn.net/l1394049664/article/details/82528372

a、在所有节点上创建目录并赋予权限

mkdir /root/.ssh

chmod 700 /root/.ssh

b、在主节点上生成公钥

cd ~

#进入用户目录

ssh-keygen -t rsa -P “”

#这是生成ssh密码的命令,-t 参数表示生成算法,有rsa和dsa两种;-P表示使用的密码,这里使用""空字符串表示无密码。

#回车后,会提示输入信息,我们直接回车即可。这样就在~/.ssh目录下生成了几个东西

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

#这个命令将id_rsa.pub的内容追加到了authorized_keys的内容后面。

c、把公钥传送到需要免密钥登录的节点

scp authorized_keys slave1.xd.edu.cn:/root/.ssh/

scp authorized_keys slave2.xd.edu.cn:/root/.ssh/

scp authorized_keys slave3.xd.edu.cn:/root/.ssh/

**备注:**在传输的过程中需要去用到node2和node3的密码,不过只使用一次,以后再使用ssh node2或者ssh node3即不在需要密码,实现免密钥登录

3.2、开启ntp服务

所有节点上都需要执行以下操作

图片

图片

yum install ntp

systemctl is-enabled ntpd

systemctl enable ntpd

systemctl start ntpd

systemctl status ntpd

3.3 检查DNS,配置FQDN

所有节点都要检查,并配置FQDN(所有节点)

图片

配置FQDN,如下以主节点为例

图片

vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=xd1.edu.cn

3.4 关闭防火墙

所有节点都要设置(以主节点为例)

图片

systemctl disable firewalld

systemctl stop firewalld

3.5 关闭SELinux

所有节点都要设置(以主节点为例)

查看SELinux的状态:

图片

修改配置文件为disabled需要重启机器:

图片

vi /etc/sysconfig/selinux

四、制作本地源

制作本地源只需要在主节点上进行即可

4.1相关工作准备

4.1.1 安装Apache HTTP服务器

安装HTTP服务器,允许http服务通过防火墙(永久)

     ![图片](https://uploader.shimo.im/f/AtL1PxZcs60HJB38.png!thumbnail)                                         添加Apache服务到系统层随系统自动启动

图片

systemctl start httpd.service

systemctl enable httpd.service

4.1.2 安装本地源制作相关工具

yum install yum-utils createrepo

图片

4.2下载安装资源 (稳定版下载包路径)

Ambari 2.7.1 Repositories

OSFormatURL

这篇关于最全ambari2.7.3+hdp3.1.0 集群搭建及常见问题解决办法整理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/weixin_42635403/article/details/105593511
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/741510

相关文章

Nginx使用Keepalived部署web集群(高可用高性能负载均衡)实战案例

《Nginx使用Keepalived部署web集群(高可用高性能负载均衡)实战案例》本文介绍Nginx+Keepalived实现Web集群高可用负载均衡的部署与测试,涵盖架构设计、环境配置、健康检查、... 目录前言一、架构设计二、环境准备三、案例部署配置 前端 Keepalived配置 前端 Nginx

Spring Boot 常用注解整理(最全收藏版)

《SpringBoot常用注解整理(最全收藏版)》本文系统整理了常用的Spring/SpringBoot注解,按照功能分类进行介绍,每个注解都会涵盖其含义、提供来源、应用场景以及代码示例,帮助开发... 目录Spring & Spring Boot 常用注解整理一、Spring Boot 核心注解二、Spr

SpringBoot快速搭建TCP服务端和客户端全过程

《SpringBoot快速搭建TCP服务端和客户端全过程》:本文主要介绍SpringBoot快速搭建TCP服务端和客户端全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录TCPServerTCPClient总结由于工作需要,研究了SpringBoot搭建TCP通信的过程

Redis高可用-主从复制、哨兵模式与集群模式详解

《Redis高可用-主从复制、哨兵模式与集群模式详解》:本文主要介绍Redis高可用-主从复制、哨兵模式与集群模式的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝... 目录Redis高可用-主从复制、哨兵模式与集群模式概要一、主从复制(Master-Slave Repli

vscode不能打开终端问题的解决办法

《vscode不能打开终端问题的解决办法》:本文主要介绍vscode不能打开终端问题的解决办法,问题的根源是Windows的安全软件限制了PowerShell的运行,而VSCode默认使用Powe... 遇到vscode不能打开终端问题,一直以为是安全软件限制问题,也没搜到解决方案,因为影响也不大,就没有管

史上最全nginx详细参数配置

《史上最全nginx详细参数配置》Nginx是一个轻量级高性能的HTTP和反向代理服务器,同时也是一个通用代理服务器(TCP/UDP/IMAP/POP3/SMTP),最初由俄罗斯人IgorSyso... 目录基本命令默认配置搭建站点根据文件类型设置过期时间禁止文件缓存防盗链静态文件压缩指定定错误页面跨域问题

Gradle下如何搭建SpringCloud分布式环境

《Gradle下如何搭建SpringCloud分布式环境》:本文主要介绍Gradle下如何搭建SpringCloud分布式环境问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录Gradle下搭建SpringCloud分布式环境1.idea配置好gradle2.创建一个空的gr

Linux搭建单机MySQL8.0.26版本的操作方法

《Linux搭建单机MySQL8.0.26版本的操作方法》:本文主要介绍Linux搭建单机MySQL8.0.26版本的操作方法,本文通过图文并茂的形式给大家讲解的非常详细,感兴趣的朋友一起看看吧... 目录概述环境信息数据库服务安装步骤下载前置依赖服务下载方式一:进入官网下载,并上传到宿主机中,适合离线环境

Spring Boot中JSON数值溢出问题从报错到优雅解决办法

《SpringBoot中JSON数值溢出问题从报错到优雅解决办法》:本文主要介绍SpringBoot中JSON数值溢出问题从报错到优雅的解决办法,通过修改字段类型为Long、添加全局异常处理和... 目录一、问题背景:为什么我的接口突然报错了?二、为什么会发生这个错误?1. Java 数据类型的“容量”限制

最详细安装 PostgreSQL方法及常见问题解决

《最详细安装PostgreSQL方法及常见问题解决》:本文主要介绍最详细安装PostgreSQL方法及常见问题解决,介绍了在Windows系统上安装PostgreSQL及Linux系统上安装Po... 目录一、在 Windows 系统上安装 PostgreSQL1. 下载 PostgreSQL 安装包2.