HA-hadoop自动容灾

2024-01-29 22:32
文章标签 自动 hadoop ha 容灾

本文主要是介绍HA-hadoop自动容灾,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 


        
-----------------------------------------------------------------------------------------------------------------------
-----------------
-----------------
-----------------
-----------------
1关闭zookeeper
xcall.sh "/home/centos/soft/zookeeper/bin/zkServer.sh stop"

 

2关闭hdfs
stop-all.sh

3清空zookeeper缓存

xcall.sh "rm -rf /home/centos/zookeeper/v*"
xcall.sh "rm -rf /home/centos/zookeeper/z*"

4清空hdfs缓存
xcall.sh "rm -rf /home/centos/hadooptmp/*"


rm -rf /home/centos/hadooptmp/*
5配置zookeeper
配置myid
echo 1 > /home/centos/zookeeper/myid
echo 2 > /home/centos/zookeeper/myid
echo 3 > /home/centos/zookeeper/myid


配置conf/zoo.cfg

dataDir=/home/centos/zookeeper

server.1=s201:2888:3888
server.2=s202:2888:3888
server.3=s203:2888:3888

6启动zookeeper

xcall.sh "/home/centos/soft/zookeeper/bin/zkServer.sh start"

xcall.sh "/home/centos/soft/zookeeper/bin/zkServer.sh status"

hdfs zkfc -formatZK


7启动hdfs
201-203
hadoop-daemon.sh start journalnode
200
hadoop namenode -format
迁移到206

拷贝元数据到HA s206
scp -r /home/centos/hadooptmp/dfs centos@s206:/home/centos/hadooptmp/

 

先在s200
启动hdfs
start-dfs.sh    (DFSZKFailoverController启动命令)
(如果启动失败:
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode

 

启动s206 NN
hadoop-daemon.sh start namenode

 

 

 

切换指南

hdfs haadmin -failover nn1 nn2                    //模拟容灾演示,从nn1切换到nn2

 

HA:

http://192.168.77.200:50070/

http://192.168.77.206:50070/

 

 

这篇关于HA-hadoop自动容灾的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/658367

相关文章

MyBatis Plus实现时间字段自动填充的完整方案

《MyBatisPlus实现时间字段自动填充的完整方案》在日常开发中,我们经常需要记录数据的创建时间和更新时间,传统的做法是在每次插入或更新操作时手动设置这些时间字段,这种方式不仅繁琐,还容易遗漏,... 目录前言解决目标技术栈实现步骤1. 实体类注解配置2. 创建元数据处理器3. 服务层代码优化填充机制详

深入浅出Spring中的@Autowired自动注入的工作原理及实践应用

《深入浅出Spring中的@Autowired自动注入的工作原理及实践应用》在Spring框架的学习旅程中,@Autowired无疑是一个高频出现却又让初学者头疼的注解,它看似简单,却蕴含着Sprin... 目录深入浅出Spring中的@Autowired:自动注入的奥秘什么是依赖注入?@Autowired

基于Redis自动过期的流处理暂停机制

《基于Redis自动过期的流处理暂停机制》基于Redis自动过期的流处理暂停机制是一种高效、可靠且易于实现的解决方案,防止延时过大的数据影响实时处理自动恢复处理,以避免积压的数据影响实时性,下面就来详... 目录核心思路代码实现1. 初始化Redis连接和键前缀2. 接收数据时检查暂停状态3. 检测到延时过

MySQL容灾备份的实现方案

《MySQL容灾备份的实现方案》进行MySQL的容灾备份是确保数据安全和业务连续性的关键步骤,容灾备份可以分为本地备份和远程备份,主要包括逻辑备份和物理备份两种方式,下面就来具体介绍一下... 目录一、逻辑备份1. 使用mysqldump进行逻辑备份1.1 全库备份1.2 单库备份1.3 单表备份2. 恢复

SpringBoot实现RSA+AES自动接口解密的实战指南

《SpringBoot实现RSA+AES自动接口解密的实战指南》在当今数据泄露频发的网络环境中,接口安全已成为开发者不可忽视的核心议题,RSA+AES混合加密方案因其安全性高、性能优越而被广泛采用,本... 目录一、项目依赖与环境准备1.1 Maven依赖配置1.2 密钥生成与配置二、加密工具类实现2.1

Python使用Tenacity一行代码实现自动重试详解

《Python使用Tenacity一行代码实现自动重试详解》tenacity是一个专为Python设计的通用重试库,它的核心理念就是用简单、清晰的方式,为任何可能失败的操作添加重试能力,下面我们就来看... 目录一切始于一个简单的 API 调用Tenacity 入门:一行代码实现优雅重试精细控制:让重试按我

SQL Server跟踪自动统计信息更新实战指南

《SQLServer跟踪自动统计信息更新实战指南》本文详解SQLServer自动统计信息更新的跟踪方法,推荐使用扩展事件实时捕获更新操作及详细信息,同时结合系统视图快速检查统计信息状态,重点强调修... 目录SQL Server 如何跟踪自动统计信息更新:深入解析与实战指南 核心跟踪方法1️⃣ 利用系统目录

Spring Security 单点登录与自动登录机制的实现原理

《SpringSecurity单点登录与自动登录机制的实现原理》本文探讨SpringSecurity实现单点登录(SSO)与自动登录机制,涵盖JWT跨系统认证、RememberMe持久化Token... 目录一、核心概念解析1.1 单点登录(SSO)1.2 自动登录(Remember Me)二、代码分析三、

MyBatis-Plus 自动赋值实体字段最佳实践指南

《MyBatis-Plus自动赋值实体字段最佳实践指南》MyBatis-Plus通过@TableField注解与填充策略,实现时间戳、用户信息、逻辑删除等字段的自动填充,减少手动赋值,提升开发效率与... 目录1. MyBATis-Plus 自动赋值概述1.1 适用场景1.2 自动填充的原理1.3 填充策略

SpringBoot+Docker+Graylog 如何让错误自动报警

《SpringBoot+Docker+Graylog如何让错误自动报警》SpringBoot默认使用SLF4J与Logback,支持多日志级别和配置方式,可输出到控制台、文件及远程服务器,集成ELK... 目录01 Spring Boot 默认日志框架解析02 Spring Boot 日志级别详解03 Sp