纯理论的技术讨论都是耍流氓,ssh免密登录,动手搭建Hadoop(1)

本文主要是介绍纯理论的技术讨论都是耍流氓,ssh免密登录,动手搭建Hadoop(1),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

最近准备搭建hadoop集群,把想整个经过记录一下。首先安装了4台虚拟机作为服务器。操作系统是CentOS 6.5. 今天先解决,ssh免密访问。由于hadoop要设置一个master namenode一个secondary namenode,还有两个datanode。他们之间如果需要访问,特别是namenode需要访问datanode需要通过ssh,如果每次都要输入密码是有点麻烦的所以先把免密访问的问题解决再说。

纯理论的技术讨论都是耍流氓,ssh免密登录,动手搭建Hadoop(1)

 

 

准备条件

四个服务器实现互相通过ssh无密码访问。

node01:192.168.146.101

node01:192.168.146.102

node01:192.168.146.103

node01:192.168.146.104

修改/etc/hosts 文件

vi /etc/hosts

把如下内容放到里面

192.168.146.101 node01

192.168.146.102 node02

192.168.146.103 node03

192.168.146.104 node04

设置SSH 无密码登录

保证安装了ssh命令

默认在 ~/.ssh目录生成两个文件:

id_rsa :私钥

id_rsa.pub :公钥

这里.ssh目录会自动生成不需要手动创建

node01操作

ssh-keygen -t rsa

以上操作依次在node01,node02,node03,node04机器上操作然后,分别在每台机器(node02,node03,node04)上copy公钥到node01上。我这里使用的root 用户,所以ssh的目录在/root/.ssh 下面,如果你用的其他的用户应该是在/home/你的用户/.ssh下面。

备注:192.168.146.101 是node01的ip

node02 操作

ssh-keygen -t rsa

cd /root/.ssh

scp id_rsa.pub root@192.168.146.101:/root/.ssh/id_rsa.pub.node02

node03 操作

ssh-keygen -t rsa

cd /root/.ssh

scp id_rsa.pub root@192.168.146.101:/root/.ssh/id_rsa.pub.node03

node04 操作

ssh-keygen -t rsa

cd /root/.ssh

scp id_rsa.pub root@192.168.146.101:/root/.ssh/id_rsa.pub.node04

然后回到node01,将自己的公钥和其他三台服务器的公钥全部都放到 authorized_keys 文件中。

node01操作

cd /root/.ssh

cat id_rsa.pub >> authorized_keys

cat id_rsa.pub.node02 >> authorized_keys

cat id_rsa.pub.node03 >> authorized_keys

cat id_rsa.pub.node04 >> authorized_keys

最后将生成好的authrozied_keys文件copy到node02,node03,node04

node01操作

scp authorized_keys root@192.168.146.102:/root/.ssh/authorized_keys

scp authorized_keys root@192.168.146.103:/root/.ssh/authorized_keys

scp authorized_keys root@192.168.146.104:/root/.ssh/authorized_keys

这里需要注意几点文件夹和文件的权限

chmod 700 /root/.ssh

chmod 600 /root/.ssh/authorized_keys

然后就可以直接通过命令访问其他几个节点了。

ssh node01

ssh node02

ssh node03

ssh node04

推荐阅读文章

大数据时代需要了解的六件事

大数据框架hadoop十大误解

年薪30K的大数据开发工程师的工作经验总结?

大数据框架hadoop我们遇见过的问题

这篇关于纯理论的技术讨论都是耍流氓,ssh免密登录,动手搭建Hadoop(1)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/934784

相关文章

使用Redis快速实现共享Session登录的详细步骤

《使用Redis快速实现共享Session登录的详细步骤》在Web开发中,Session通常用于存储用户的会话信息,允许用户在多个页面之间保持登录状态,Redis是一个开源的高性能键值数据库,广泛用于... 目录前言实现原理:步骤:使用Redis实现共享Session登录1. 引入Redis依赖2. 配置R

Python极速搭建局域网文件共享服务器完整指南

《Python极速搭建局域网文件共享服务器完整指南》在办公室或家庭局域网中快速共享文件时,许多人会选择第三方工具或云存储服务,但这些方案往往存在隐私泄露风险或需要复杂配置,下面我们就来看看如何使用Py... 目录一、android基础版:HTTP文件共享的魔法命令1. 一行代码启动HTTP服务器2. 关键参

Spring Security 单点登录与自动登录机制的实现原理

《SpringSecurity单点登录与自动登录机制的实现原理》本文探讨SpringSecurity实现单点登录(SSO)与自动登录机制,涵盖JWT跨系统认证、RememberMe持久化Token... 目录一、核心概念解析1.1 单点登录(SSO)1.2 自动登录(Remember Me)二、代码分析三、

springboot自定义注解RateLimiter限流注解技术文档详解

《springboot自定义注解RateLimiter限流注解技术文档详解》文章介绍了限流技术的概念、作用及实现方式,通过SpringAOP拦截方法、缓存存储计数器,结合注解、枚举、异常类等核心组件,... 目录什么是限流系统架构核心组件详解1. 限流注解 (@RateLimiter)2. 限流类型枚举 (

Python实现PDF按页分割的技术指南

《Python实现PDF按页分割的技术指南》PDF文件处理是日常工作中的常见需求,特别是当我们需要将大型PDF文档拆分为多个部分时,下面我们就来看看如何使用Python创建一个灵活的PDF分割工具吧... 目录需求分析技术方案工具选择安装依赖完整代码实现使用说明基本用法示例命令输出示例技术亮点实际应用场景扩

Ubuntu 24.04启用root图形登录的操作流程

《Ubuntu24.04启用root图形登录的操作流程》Ubuntu默认禁用root账户的图形与SSH登录,这是为了安全,但在某些场景你可能需要直接用root登录GNOME桌面,本文以Ubuntu2... 目录一、前言二、准备工作三、设置 root 密码四、启用图形界面 root 登录1. 修改 GDM 配

nginx 负载均衡配置及如何解决重复登录问题

《nginx负载均衡配置及如何解决重复登录问题》文章详解Nginx源码安装与Docker部署,介绍四层/七层代理区别及负载均衡策略,通过ip_hash解决重复登录问题,对nginx负载均衡配置及如何... 目录一:源码安装:1.配置编译参数2.编译3.编译安装 二,四层代理和七层代理区别1.二者混合使用举例

Linux中SSH服务配置的全面指南

《Linux中SSH服务配置的全面指南》作为网络安全工程师,SSH(SecureShell)服务的安全配置是我们日常工作中不可忽视的重要环节,本文将从基础配置到高级安全加固,全面解析SSH服务的各项参... 目录概述基础配置详解端口与监听设置主机密钥配置认证机制强化禁用密码认证禁止root直接登录实现双因素

Qt如何实现文本编辑器光标高亮技术

《Qt如何实现文本编辑器光标高亮技术》这篇文章主要为大家详细介绍了Qt如何实现文本编辑器光标高亮技术,文中的示例代码讲解详细,具有一定的借鉴价值,有需要的小伙伴可以了解下... 目录实现代码函数作用概述代码详解 + 注释使用 QTextEdit 的高亮技术(重点)总结用到的关键技术点应用场景举例示例优化建议

如何使用Haporxy搭建Web群集

《如何使用Haporxy搭建Web群集》Haproxy是目前比较流行的一种群集调度工具,同类群集调度工具有很多如LVS和Nginx,本案例介绍使用Haproxy及Nginx搭建一套Web群集,感兴趣的... 目录一、案例分析1.案例概述2.案例前置知识点2.1 HTTP请求2.2 负载均衡常用调度算法 2.