优维产品最佳实践:如何设计流水线?

2023-11-06 12:59

本文主要是介绍优维产品最佳实践:如何设计流水线?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言:我们上期介绍了什么是CI以及CI的重要性,本期目标就是学习如何设计流水线,流水线是一种用于自动化软件开发和部署的工具链,它可以将软件开发过程中的各个步骤组织成一个连续的流程,从而提高开发效率和软件质量。在CI(持续集成)中,流水线是实现自动化软件交付的关键组成部分。

本期EasyOps产品使用最佳实践,我们将为您揭晓:

  • 优维持续集成是如何设计流水线的?

「流 水 线 的 编 排 设 计」

这里EasyOps非常推荐以版本控制系统为源(如gitlab、gitee等)的构建流水线设计,从每一位开发人员提交代码即可对当前提交代码进行检查编译构建,尽快将错误反馈给每位提交人员。

DevOps流水线,主要是由各类任务串联起来,而对于任务本身又分为两张类型,一种是自动化任务,一种是人工执行任务。具体如下:

  1. 自动化任务:包括了代码静态检查,构建,打包,部署,单元测试,环境迁移,自定义脚本运行等。

  2. 人工任务:人工任务主要包括了手工测试、检查审核等类似工作。

一个流水线可以是完全自动化执行,也可以中间加入了人工干预节点,在人工干预处理后再继续朝下执行。比如流水线中到了测试部署完成后,可以到测试环境人工验证环节,只有人工验证通过再流转到迁移发布到生产环境动作任务。整个流水线强调“一次构建,多次部署”,确保我们最终构建和测试通过的版本就是我们部署到生产环境的版本。构建操作只有一次,而后面到测试环境,到UAT环境,到生产环境,都属于是制品/镜像的环境迁移和部署。而不涉及到需要再次重新打包的问题。这个是持续集成,也是DevOps的基本要求。

「基 于 场 景 设 计 流 水 线」

是否需要一条完整的流水线?流水线是越多越好,还是越少越好? 我们建议按照场景来设计,一条流水线通吃所有流程是不现实的,搞了好多流水线(比如一个构建就一个流水线,一个复制操作就一个流水线)这些都是不可取的,维护成本巨大,得不偿失。

流水线按照场景分类如下:

  • 提交阶段流水线(个人级)

  • 验收阶段流水线(团队级)

  • 部署阶段流水线(部署/发布)

流水线任务按需串行、并行、特殊场景下跳过执行;必要环节人工干预,如在手工测试、正式发布等环节导入手工确认环节,流水线牵引流动。不同的流水线还可以串联起来组成CI/CD流水线。

「流 水 线 任 务 的 标 准 化」

流水线任务主要由以下三类操作组成:

  • 构建操作:不同的编程语言有不同的构建方式:java通常使用maven;golang需要环境执行go build;python直接打包。总的来说,该步骤完成后输出一个或多个可执行的文件,我们在该步骤约定好制品的存放路径,方便下一步打包操作。

  • 包镜像操作:实际上即基于构建完成的部署包来生成镜像。该操作一般首先基于一个基础镜像文件基础上进行,在基础镜像文件上拷贝和写入具体的部署包文件,同时在启动相应的初始化脚本。打包任务则是一个标准化的镜像制作任务,我们需要考虑的仅仅是基于 1)基于哪个基础镜像 2)中间件容器默认目录设置 3)初始化启动命令。即在实际的打包任务设计的时候,我们不会指定具体的部署包和部署文件,这个完全根据约定好的规则去获取。

  • 部署操作:部署操作相当更加简单,重点就是将镜像部署到哪个资源池,哪个集群节点,初始化的节点配置等。具体部署哪个镜像不要指定,而是由上游输入。

在EasyDevOps中,常用任务都抽象成了插件,插件中心中现在有57个插件,分别实现代码拉取、静态检查、编译构建、代码测试等功能。如果用户现场有定制化开发需求,还支持自定义插件,用户可以自行开发插件。

例如Docker这一插件,EasyDevOps将常用的参数例如镜像名称、容器名称、端口映射、环境变量等抽离出来,方便用户在编排流水线时根据不同项目的实际情况传参。这样保证了:

  • 定制化配置:每个项目可能需要不同的Docker配置,通过传参,用户可以根据项目的需要进行定制化配置,而无需修改固定的流水线模板。

  • 灵活性:不同的项目可能需要不同的镜像、不同的环境变量等,通过传参可以使流水线具有更高的灵活性,适应各种需求。

  • 重用性:通过参数传递的方式,可以使流水线模板更具有重用性。用户可以根据需要在不同项目中重复使用同一个流水线模板,只需要传递不同的参数即可。

  • 减少错误:用户手动输入参数可能会引入错误,通过参数传递可以减少手动操作,降低错误发生的可能性。

  • 一致性:将常用的参数抽离出来,并在流水线中进行传参,可以使项目团队在使用相同的参数上保持一致性,减少混淆和误解。

以上,就是本期所有内容,下一期我们将本期的知识运用起来,给一个实际代码项目编排流水线。

这篇关于优维产品最佳实践:如何设计流水线?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/356779

相关文章

Spring Boot集成/输出/日志级别控制/持久化开发实践

《SpringBoot集成/输出/日志级别控制/持久化开发实践》SpringBoot默认集成Logback,支持灵活日志级别配置(INFO/DEBUG等),输出包含时间戳、级别、类名等信息,并可通过... 目录一、日志概述1.1、Spring Boot日志简介1.2、日志框架与默认配置1.3、日志的核心作用

破茧 JDBC:MyBatis 在 Spring Boot 中的轻量实践指南

《破茧JDBC:MyBatis在SpringBoot中的轻量实践指南》MyBatis是持久层框架,简化JDBC开发,通过接口+XML/注解实现数据访问,动态代理生成实现类,支持增删改查及参数... 目录一、什么是 MyBATis二、 MyBatis 入门2.1、创建项目2.2、配置数据库连接字符串2.3、入

Android Paging 分页加载库使用实践

《AndroidPaging分页加载库使用实践》AndroidPaging库是Jetpack组件的一部分,它提供了一套完整的解决方案来处理大型数据集的分页加载,本文将深入探讨Paging库... 目录前言一、Paging 库概述二、Paging 3 核心组件1. PagingSource2. Pager3.

Mysql中设计数据表的过程解析

《Mysql中设计数据表的过程解析》数据库约束通过NOTNULL、UNIQUE、DEFAULT、主键和外键等规则保障数据完整性,自动校验数据,减少人工错误,提升数据一致性和业务逻辑严谨性,本文介绍My... 目录1.引言2.NOT NULL——制定某列不可以存储NULL值2.UNIQUE——保证某一列的每一

在Java中使用OpenCV实践

《在Java中使用OpenCV实践》用户分享了在Java项目中集成OpenCV4.10.0的实践经验,涵盖库简介、Windows安装、依赖配置及灰度图测试,强调其在图像处理领域的多功能性,并计划后续探... 目录前言一 、OpenCV1.简介2.下载与安装3.目录说明二、在Java项目中使用三 、测试1.测

MyBatis-Plus 自动赋值实体字段最佳实践指南

《MyBatis-Plus自动赋值实体字段最佳实践指南》MyBatis-Plus通过@TableField注解与填充策略,实现时间戳、用户信息、逻辑删除等字段的自动填充,减少手动赋值,提升开发效率与... 目录1. MyBATis-Plus 自动赋值概述1.1 适用场景1.2 自动填充的原理1.3 填充策略

Olingo分析和实践之EDM 辅助序列化器详解(最佳实践)

《Olingo分析和实践之EDM辅助序列化器详解(最佳实践)》EDM辅助序列化器是ApacheOlingoOData框架中无需完整EDM模型的智能序列化工具,通过运行时类型推断实现灵活数据转换,适用... 目录概念与定义什么是 EDM 辅助序列化器?核心概念设计目标核心特点1. EDM 信息可选2. 智能类

Olingo分析和实践之OData框架核心组件初始化(关键步骤)

《Olingo分析和实践之OData框架核心组件初始化(关键步骤)》ODataSpringBootService通过初始化OData实例和服务元数据,构建框架核心能力与数据模型结构,实现序列化、URI... 目录概述第一步:OData实例创建1.1 OData.newInstance() 详细分析1.1.1

Olingo分析和实践之ODataImpl详细分析(重要方法详解)

《Olingo分析和实践之ODataImpl详细分析(重要方法详解)》ODataImpl.java是ApacheOlingoOData框架的核心工厂类,负责创建序列化器、反序列化器和处理器等组件,... 目录概述主要职责类结构与继承关系核心功能分析1. 序列化器管理2. 反序列化器管理3. 处理器管理重要方

虚拟机Centos7安装MySQL数据库实践

《虚拟机Centos7安装MySQL数据库实践》用户分享在虚拟机安装MySQL的全过程及常见问题解决方案,包括处理GPG密钥、修改密码策略、配置远程访问权限及防火墙设置,最终通过关闭防火墙和停止Net... 目录安装mysql数据库下载wget命令下载MySQL安装包安装MySQL安装MySQL服务安装完成