Kerrigan:配置中心管理UI的实现思路和技术细节

2023-12-25 17:48

本文主要是介绍Kerrigan:配置中心管理UI的实现思路和技术细节,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

去年写过一篇文章『中小团队落地配置中心详解』,介绍了我们借助etcd+confd实现的配置中心方案,这是一个对运维友好,与开发解耦的极佳方案,经过了一年多的实践也确实帮我们解决了配置文件无版本、难回滚、更新复杂等问题

这套配置中心解决方案的特点是,对整个配置文件进行管理,而非配置项,且在配置中心修改的配置,客户端可以实时自动更新。同时借助于我们自研的配置中心管理UI(kerrigan)还能够实现记录修改历史,快速回滚配置,与线上配置做对比等实用功能

陆续有小伙伴问我能否写篇文章介绍一下配置中心的管理UI(Kerrigan)的实现,咖啡君就通过本篇文章来介绍Kerrigan的设计思路,以及用到的技术和部分核心代码,由于kerrigan有过一次改版,所以界面会与上面文章中的截图有出入

界面与功能

时光小说网 www.youxs.org

用户登陆进入会看到一个简单的统计页面,展示配置文件相关数据

20191220.01.png

这个实现非常简单就是对数据库数据进行查询统计,都是类似于下边这样的语句输出的结果

Config.objects.all().count()

当点击“我的项目”标签时,会出现所有的项目,在这里可以搜索你要操作的项目,或是新建/导入项目

20191220.02.png

当点击“新建/导入项目”时,可以选择从CMDB同步项目,或者自己填写项目名称新建配置中心中的项目,但由于我们配置中心和CMDB是打通的,配置中心里的所有项目都来源于CMDB,保证项目信息一致性,所以新建项目功能并没有被用到

20191220.03.png

与CMDB系统的同步是通过http协议进行了,当点击“与CMDB同步”按钮时,会发送个get请求到cmdb服务器获取项目信息,cmdb采用JWT认证,主要代码如下:

headers = {"WWW-Authenticate": "Token","Content-Type": "application/json","Authorization": "Token eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJleHAiOjE1NDgyMjg4MzgsImlhdCI6MTU0ODE0MjQzOCwiZGF0YSI6eyJ1c2VybmFtZSI6ImFkbWluQDE2My5jb20ifX0.oKc0SafgksMT9ZIhTACupUlz49Q5kI4oJA-B8-GHqLA"
}requests.get('https://ops-coffee.cn/api/cmdb/project', headers=headers)

在我的项目页面点击项目时,会进入项目的配置管理页面,这个页面列出了项目下的所有配置文件,也可以通过右上角的“添加配置”按钮添加配置文件

20191220.04.png

当添加配置文件时,会做三件事情:

  1. 配置文件表(Config)添加一条新数据
  2. 历史记录表(History)添加一条新数据,作为历史版本
  3. 往etcd里写入一条新的KV数据,其中key为:项目+环境+服务+文件名称的组合,保证在etcd内唯一

操作etcd的代码如下:

class EtcdApi:def __init__(self):self.client = etcd.Client(host=str(self.ETCD_HOST),port=int(self.ETCD_PORT),username=str(self.ETCD_USER),password=str(self.ETCD_PASS))def read(self, key):try:kx = self.client.read(key)return {"state": 1, "message": "", "action": kx.action, "key": kx.key, "value": kx.value,"newKey": kx.newKey, "dir": kx.dir, "_children": kx._children}except Exception as e:return {"state": 0, "message": str(e)}def write(self, key, value):try:kx = self.client.write(key, value)return {"state": 1, "message": "", "action": kx.action, "key": kx.key, "newKey": kx.newKey,"dir": kx.dir, "_children": kx._children}except Exception as e:return {"state": 0, "message": str(e)}def delete(self, key, recursive=False, dir=False):try:if dir:kx = self.client.delete(key, recursive, True)return {"state": 1, "message": "", "action": kx.action, "key": kx.key, "newKey": kx.newKey,"dir": kx.dir, "_children": kx._children}else:kx = self.client.delete(key)return {"state": 1, "message": kx}except Exception as e:return {"state": 0, "message": str(e)}

当编辑和删除配置文件时,操作与新建类似,修改Config表数据-->Histror表添加新数据-->修改或删除etcd数据,History表在每次新建或修改配置时都需要添加一条新数据,这里使用到了Django的信号Signales来实现,主要代码如下:

@receiver(signals.post_init, sender=Config)
def migrate_notify_init(instance, **kwargs):instance.old_content = instance.content@receiver(signals.post_save, sender=Config)
def migrate_notify_post(instance, created, **kwargs):_t = Setting.objects.get(key='enable_etcd')# 每次新建或者content变更都往历史表里插入一条历史数据if created or instance.old_content != instance.content:History.objects.create(config=instance,user=instance.user,content=instance.content)

除了History表操作之外,对于etcd的操作以及下边要说到的发布功能也是在signales里完成的,signals可以简化代码强化逻辑

当点击“编辑”按钮后,会进入配置文件编辑页面,在这里可以修改、保存或发布配置文件,也可以拿当前配置文件与已发布配置文件做对比

20191220.05.png

这里“保存”和“发布”的区别在于,保存只会将配置文件保存在Kerrigan内,不会修改etcd里的数据,从而实现客户端不更新,而发布会直接修改etcd里的数据,客户端能够直接更新,对于未发布的配置文件,当你点击配置文件时会有如下的提示,你可以对比或者发布

20191220.06.png

判断是否发布主要是在Config表里加入了is_published字段,同样通过signals的post_save信号在每次保存时检查这个字段,如果为True,则修改对应etcd的值,否则不处理

@receiver(signals.post_save, sender=Config)
def migrate_notify_post(instance, created, **kwargs):...# 判断状态为发布且开启了etcd,则更新数据到etcdif instance.is_published:_r = EtcdApi().write(key, instance.content)if _r.get('state') == 0:raise '写入key:%s失败' % (key)

系统中多次出现“对比”功能,都指的是当前配置文件和已发布配置文件的对比,通过对比可以清晰的看出修改的内容,对比结果展示如下

20191220.07.png

对比功能主要用到了difflib模块,主要代码如下:

difflib.HtmlDiff().make_file(src_value, diff_value, context=True, numlines=3)

每一次的添加或者修改都会往History表里写入一条新数据,“历史版本”便是直接读的History表,展示出谁在什么时间修改了什么内容

20191220.08.png

当点击历史版本时可以查看此版本的配置文件内容,同时在必要的时候回滚,有了历史版本的内容,回滚也只是将历史内容覆盖到etcd

20191220.09.png

至此,Kerrigan介绍完成,其最主要的功能是通过web浏览器来操作etcd里的KV数据,在此基础上做了扩展,对每一次的修改都做了记录,以实现实用的保存、发布、历史、回滚等功能

最后再回顾一下整个配置中心的工作流程,配置管理员通过Kerrigan来添加或修改配置文件,Kerrigan记录修改,同时将修改同步至etcd,客户端上的confd服务在检测到etcd对应key的数据发生变化时,会自动拉取数据覆盖至本地配置文件,然后配合check_cmdreload_cmd指令对配置文件进行检查和重载,更多细节原理回顾文章『中小团队落地配置中心详解』


扫码关注公众号查看更多实用文章

相关文章推荐阅读:

  • 我们自研的那些Devops工具
  • 中小团队基于Docker的devops实践

这篇关于Kerrigan:配置中心管理UI的实现思路和技术细节的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/536388

相关文章

Flutter实现文字镂空效果的详细步骤

《Flutter实现文字镂空效果的详细步骤》:本文主要介绍如何使用Flutter实现文字镂空效果,包括创建基础应用结构、实现自定义绘制器、构建UI界面以及实现颜色选择按钮等步骤,并详细解析了混合模... 目录引言实现原理开始实现步骤1:创建基础应用结构步骤2:创建主屏幕步骤3:实现自定义绘制器步骤4:构建U

SpringBoot中四种AOP实战应用场景及代码实现

《SpringBoot中四种AOP实战应用场景及代码实现》面向切面编程(AOP)是Spring框架的核心功能之一,它通过预编译和运行期动态代理实现程序功能的统一维护,在SpringBoot应用中,AO... 目录引言场景一:日志记录与性能监控业务需求实现方案使用示例扩展:MDC实现请求跟踪场景二:权限控制与

Android开发环境配置避坑指南

《Android开发环境配置避坑指南》本文主要介绍了Android开发环境配置过程中遇到的问题及解决方案,包括VPN注意事项、工具版本统一、Gerrit邮箱配置、Git拉取和提交代码、MergevsR... 目录网络环境:VPN 注意事项工具版本统一:android Studio & JDKGerrit的邮

Android实现定时任务的几种方式汇总(附源码)

《Android实现定时任务的几种方式汇总(附源码)》在Android应用中,定时任务(ScheduledTask)的需求几乎无处不在:从定时刷新数据、定时备份、定时推送通知,到夜间静默下载、循环执行... 目录一、项目介绍1. 背景与意义二、相关基础知识与系统约束三、方案一:Handler.postDel

gradle第三方Jar包依赖统一管理方式

《gradle第三方Jar包依赖统一管理方式》:本文主要介绍gradle第三方Jar包依赖统一管理方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录背景实现1.顶层模块build.gradle添加依赖管理插件2.顶层模块build.gradle添加所有管理依赖包

使用Python实现IP地址和端口状态检测与监控

《使用Python实现IP地址和端口状态检测与监控》在网络运维和服务器管理中,IP地址和端口的可用性监控是保障业务连续性的基础需求,本文将带你用Python从零打造一个高可用IP监控系统,感兴趣的小伙... 目录概述:为什么需要IP监控系统使用步骤说明1. 环境准备2. 系统部署3. 核心功能配置系统效果展

基于Python打造一个智能单词管理神器

《基于Python打造一个智能单词管理神器》这篇文章主要为大家详细介绍了如何使用Python打造一个智能单词管理神器,从查询到导出的一站式解决,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 项目概述:为什么需要这个工具2. 环境搭建与快速入门2.1 环境要求2.2 首次运行配置3. 核心功能使用指

Python实现微信自动锁定工具

《Python实现微信自动锁定工具》在数字化办公时代,微信已成为职场沟通的重要工具,但临时离开时忘记锁屏可能导致敏感信息泄露,下面我们就来看看如何使用Python打造一个微信自动锁定工具吧... 目录引言:当微信隐私遇到自动化守护效果展示核心功能全景图技术亮点深度解析1. 无操作检测引擎2. 微信路径智能获

Python中pywin32 常用窗口操作的实现

《Python中pywin32常用窗口操作的实现》本文主要介绍了Python中pywin32常用窗口操作的实现,pywin32主要的作用是供Python开发者快速调用WindowsAPI的一个... 目录获取窗口句柄获取最前端窗口句柄获取指定坐标处的窗口根据窗口的完整标题匹配获取句柄根据窗口的类别匹配获取句

在 Spring Boot 中实现异常处理最佳实践

《在SpringBoot中实现异常处理最佳实践》本文介绍如何在SpringBoot中实现异常处理,涵盖核心概念、实现方法、与先前查询的集成、性能分析、常见问题和最佳实践,感兴趣的朋友一起看看吧... 目录一、Spring Boot 异常处理的背景与核心概念1.1 为什么需要异常处理?1.2 Spring B