ceph纠删码精简配置ec4+2:1与ec4+2的切换

2024-05-14 09:28

本文主要是介绍ceph纠删码精简配置ec4+2:1与ec4+2的切换,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

概述

近期遇到项目,由于灵活配置,前期只有部分机器,后续扩容,想用ec4+2的纠删码,但前期只有3台机器,需要做精简ec。

erasure-code-profile

首先按照ceph创建纠删码池步骤进行操作。

创建ec4+2的rule

ceph osd erasure-code-profile set newecrule k=4 m=2

查看该rule

# ceph osd erasure-code-profile get newecrule
crush-device-class=
crush-failure-domain=host
crush-root=default
jerasure-per-chunk-alignment=false
k=4
m=2
plugin=jerasure
technique=reed_sol_van
w=8

创建纠删码存储池

ceph osd pool create testec 1 1 erasure newecrule

通过ceph osd pool ls detail可以看到该pool相关信息,以及分配了crushrule。

如果是正常创建纠删码池,以上步骤基本完成,如果需要做精简ec,或者自定义结构,可以继续操作crushmap。

导出crushmap

导出crushmap,反编译,ceph基操不做赘述,步骤如下:

ceph osd getcrushmap -o crushmap
crushmap -d crushmap -o crushmap.txt

查看crushmap,可以看到刚pool所使用的rule,结构如下

rule testec {id xtype erasuremin_size 3max_size 6step set_chooseleaf_tries 5step set_choose_tries 100step take defaultstep chooseleaf indep 0 type hoststep emit

这个就是标准的host容灾的纠删码配置,其中ec的k+m是在erasure code profile中定义,这里的rule就是将纠删码的块分别放到不同host中。
如果前期项目只有3个节点,显然这里pg无法完成peering。

ec4+2:1

如果我们只有3台host,我们可以保留ec4+2的特性,同时通过调整rule,将每两个块放到一个host上,实现ec4+2:1的配置,等到集群扩容完成后,再将rule恢复。

        type erasuremin_size 3max_size 6step take defaultstep choose indep 3 type host        step chooseleaf indep 2 type osd 

此处的rule不难看出,先选3个host,再从host上选择2osd,共6个osd完成pg peering和active。

精简ec的问题

ec4+2host容灾,正常是可以同时离线2个节点而完成自愈,而ec4+2:1只能同时离线一个节点,或者不同节点的2个盘(很好理解,最多损坏两个块)。
此外由于使用choose indep host后choose osd,当某个host下的osd不足完成2个块的数据承担时,仍有可能会被选中,导致pg卡住,无法完成peering。
因此当集群规模,预算足够时,应即使扩容,调整成完整的非精简的ec结构。

这篇关于ceph纠删码精简配置ec4+2:1与ec4+2的切换的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/988386

相关文章

Redis Cluster模式配置

《RedisCluster模式配置》:本文主要介绍RedisCluster模式配置,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录分片 一、分片的本质与核心价值二、分片实现方案对比 ‌三、分片算法详解1. ‌范围分片(顺序分片)‌2. ‌哈希分片3. ‌虚

SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志

《SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志》在SpringBoot项目中,使用logback-spring.xml配置屏蔽特定路径的日志有两种常用方式,文中的... 目录方案一:基础配置(直接关闭目标路径日志)方案二:结合 Spring Profile 按环境屏蔽关

Maven 配置中的 <mirror>绕过 HTTP 阻断机制的方法

《Maven配置中的<mirror>绕过HTTP阻断机制的方法》:本文主要介绍Maven配置中的<mirror>绕过HTTP阻断机制的方法,本文给大家分享问题原因及解决方案,感兴趣的朋友一... 目录一、问题场景:升级 Maven 后构建失败二、解决方案:通过 <mirror> 配置覆盖默认行为1. 配置示

Springboot3+将ID转为JSON字符串的详细配置方案

《Springboot3+将ID转为JSON字符串的详细配置方案》:本文主要介绍纯后端实现Long/BigIntegerID转为JSON字符串的详细配置方案,s基于SpringBoot3+和Spr... 目录1. 添加依赖2. 全局 Jackson 配置3. 精准控制(可选)4. OpenAPI (Spri

maven私服配置全过程

《maven私服配置全过程》:本文主要介绍maven私服配置全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录使用Nexus作为 公司maven私服maven 私服setttings配置maven项目 pom配置测试效果总结使用Nexus作为 公司maven私

springboot加载不到nacos配置中心的配置问题处理

《springboot加载不到nacos配置中心的配置问题处理》:本文主要介绍springboot加载不到nacos配置中心的配置问题处理,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录springboot加载不到nacos配置中心的配置两种可能Spring Boot 版本Nacos

Nacos注册中心和配置中心的底层原理全面解读

《Nacos注册中心和配置中心的底层原理全面解读》:本文主要介绍Nacos注册中心和配置中心的底层原理的全面解读,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录临时实例和永久实例为什么 Nacos 要将服务实例分为临时实例和永久实例?1.x 版本和2.x版本的区别

如何搭建并配置HTTPD文件服务及访问权限控制

《如何搭建并配置HTTPD文件服务及访问权限控制》:本文主要介绍如何搭建并配置HTTPD文件服务及访问权限控制的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、安装HTTPD服务二、HTTPD服务目录结构三、配置修改四、服务启动五、基于用户访问权限控制六、

CentOS 7 YUM源配置错误的解决方法

《CentOS7YUM源配置错误的解决方法》在使用虚拟机安装CentOS7系统时,我们可能会遇到YUM源配置错误的问题,导致无法正常下载软件包,为了解决这个问题,我们可以替换YUM源... 目录一、备份原有的 YUM 源配置文件二、选择并配置新的 YUM 源三、清理旧的缓存并重建新的缓存四、验证 YUM 源

Windows 系统下 Nginx 的配置步骤详解

《Windows系统下Nginx的配置步骤详解》Nginx是一款功能强大的软件,在互联网领域有广泛应用,简单来说,它就像一个聪明的交通指挥员,能让网站运行得更高效、更稳定,:本文主要介绍W... 目录一、为什么要用 Nginx二、Windows 系统下 Nginx 的配置步骤1. 下载 Nginx2. 解压