云原生时代：从 Jenkins 到 Argo Workflows，构建高效 CI Pipeline

2024-06-06 08:04
文章标签 云原生 高效 构建 jenkins ci 时代 pipeline argo workflows

本文主要是介绍云原生时代：从 Jenkins 到 Argo Workflows，构建高效 CI Pipeline，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

作者：蔡靖

Argo Workflows

Argo Workflows [ 1] 是用于在 Kubernetes 上编排 Job 的开源的云原生工作流引擎。可以轻松自动化和管理 Kubernetes 上的复杂工作流程。适用于各种场景，包括定时任务、机器学习、ETL 和数据分析、模型训练、数据流 pipline、CI/CD 等。

Kubernetes Jobs 只提供基础的任务执行，但是无法定义步骤依赖关系和顺序、缺乏工作流模版、没有可视化界面，也不支持工作流级别的错误处理等，对于批处理、数据处理、科学计算、持续集成等业务场景，Kubernetes Job 无法胜任。

Argo Workflows 作为 CNCF 的毕业项目，已被使用在多种场景，持续集成（CI）是其一个重要应用领域。

图片

CI 与 Jenkins

持续集成和持续部署（CI/CD）是软件开发生命周期中的重要部分，它允许团队以敏捷流程开发应用并提高所构建应用程序的质量。持续集成（CI）是面向开发者的自动化流程，经测试、构建等步骤，有助于更频繁、可靠地将代码变更提交到主分支。

Jenkins 作为 CI/CD 领域最常见的解决方案，其具有开源免费、插件丰富、社区成熟诸多优点，但它仍然存在一些问题，尤其是云原生大背景的当下：

  • 非 kubernetes 原生；
  • 随着 pipeline 和插件的增加，Jenkins 会面临性能瓶颈；
  • 自动扩展能力不足，并发不足，运行时间长，空闲计算浪费成本；
  • 维护成本方面，虽然 Jenkins 的插件生态系统丰富，但这也可能导致插件版本不兼容、更新不及时或安全漏洞等问题，管理插件更新和权限是一个持续的挑战；
  • 项目隔离/权限分配方案的缺陷等。

Argo Workflows 与 Jenkins 的对比

相比于 Jenkins，Argo Workflows 有诸多优势。Argo Workflows 构建在 Kubernetes 之上，使其具有 Kubernetes 经过时间考验的优势，其 Autoscaling 和并发等能力，使得 Argo Workflows 可以处理大规模的 pipelins，具有更快的运行速度，和更低的费用/使用成本，让开发者更加聚焦业务功能和为客户提供、传播价值；并且与 Argo 生态的 Argo CD、Argo Rollout、Argo Event 的无缝集成，为 CI 等场景提供更强大的能力。您可以基于 Argo Workflows 来构建更加云原生、大规模、高效率、低成本的 CI Pipeline。

对比如下：

image.png

基于 ACK One Serverless Argo 工作流的 CI Pipeline

ACK One Serverless Argo 工作流

ACK One Serverless Argo 工作流 [ 2] 作为一款完全遵循社区规范的全托管式 Argo Workflows 服务，致力于应对大规模计算密集型作业，通过集成阿里云 ECI 实现自动扩展和极致弹性、按需扩容以最小化成本，通过使用 spot ECI（抢占式 ECI 实例 [ 3] ）可以降低 80% 成本。

图片

CI Pipeline 概述

基于 ACK One Serverless Argo 工作流集群构建 CI Pipeline，主要使用 BuildKit [ 4] 实现容器镜像的构建和推送，并使用 BuildKit Cache [ 5] 加速镜像的构建，使用 NAS 来存储 Go mod cache 加速 go test 和 go build，最终大幅加速 CI Pipeline 流程。

我们将实现的 CI Pipeline 的 ClusterWorkflowTemplate 预置在工作流集群中（名为 ci-go-v1），其中主要包含 3 个步骤：

  1. Git Clone & Checkout：Clone Git 仓库，Checkout 到目标分支；并获取 commit id。

  2. Run Go Test：通过参数控制是否运行，使用 NAS 存储 Go mod cache 进行加速

  3. Build & Push Image：

    a. 使用 BuildKit 构建和推送容器镜像，并使用 BuildKit Cache 中 registry 类型 cache 来加速镜像构建；

    b. 镜像 tag 默认使用 {container_tag}-{commit_id} 格式，可在提交工作流时通过参数控制是否追加 commit id；

    c. 推送镜像的同时，也会推送覆盖其 latest 镜像。

您可执行以下步骤完成 CI Pipeline 的运行，详细步骤请参见最佳实践 [ 6] ：

  1. 在工作流集群中准备好 ACR EE 的凭据和 NAS 存储卷
  2. 基于预置模板启动工作流（workflow）运行 CI Pipeline

图片

预置 CI Pipeline 模板

工作流集群中默认已经预置了名为 ci-go-v1 的工作流模板（ClusterWorkflowTemplate），yaml 如下所示，详细参数说明请参见最佳实践 [ 6] ：

apiVersion: argoproj.io/v1alpha1
kind: ClusterWorkflowTemplate
metadata:name: ci-go-v1
spec:entrypoint: mainvolumes:- name: run-testemptyDir: {}- name: workdirpersistentVolumeClaim:claimName: pvc-nas- name: docker-configsecret:secretName: docker-configarguments:parameters:- name: repo_urlvalue: ""- name: repo_namevalue: ""- name: target_branchvalue: "main"- name: container_imagevalue: ""- name: container_tagvalue: "v1.0.0"- name: dockerfilevalue: "./Dockerfile"- name: enable_suffix_commitidvalue: "true"- name: enable_testvalue: "true"templates:- name: maindag:tasks:- name: git-checkout-prinline:container:image: alpine:latestcommand:- sh- -c- |set -euapk --update add gitcd /workdirecho "Start to Clone "{{workflow.parameters.repo_url}}git -C "{{workflow.parameters.repo_name}}" pull || git clone {{workflow.parameters.repo_url}} cd {{workflow.parameters.repo_name}}echo "Start to Checkout target branch" {{workflow.parameters.target_branch}}git checkout {{workflow.parameters.target_branch}}echo "Get commit id" git rev-parse --short origin/{{workflow.parameters.target_branch}} > /workdir/{{workflow.parameters.repo_name}}-commitid.txtcommitId=$(cat /workdir/{{workflow.parameters.repo_name}}-commitid.txt)echo "Commit id is got: "$commitIdecho "Git Clone and Checkout Complete."volumeMounts:- name: "workdir"mountPath: /workdirresources:requests:memory: 1Gicpu: 1activeDeadlineSeconds: 1200- name: run-testwhen: "{{workflow.parameters.enable_test}} == true"inline: container:image: golang:1.22-alpinecommand:- sh- -c- |set -euif [ ! -d "/workdir/pkg/mod" ]; thenmkdir -p /workdir/pkg/modecho "GOMODCACHE Directory /pkg/mod is created"fiexport GOMODCACHE=/workdir/pkg/modcp -R /workdir/{{workflow.parameters.repo_name}} /test/{{workflow.parameters.repo_name}} echo "Start Go Test..."cd /test/{{workflow.parameters.repo_name}}go test -v ./...echo "Go Test Complete."volumeMounts:- name: "workdir"mountPath: /workdir- name: run-testmountPath: /testresources:requests:memory: 4Gicpu: 2activeDeadlineSeconds: 1200depends: git-checkout-pr    - name: build-push-imageinline: container:image: moby/buildkit:v0.13.0-rootlesscommand:- sh- -c- |         set -eutag={{workflow.parameters.container_tag}}if [ {{workflow.parameters.enable_suffix_commitid}} == "true" ]thencommitId=$(cat /workdir/{{workflow.parameters.repo_name}}-commitid.txt)tag={{workflow.parameters.container_tag}}-$commitIdfiecho "Image Tag is: "$tagecho "Start to Build And Push Container Image"cd /workdir/{{workflow.parameters.repo_name}}buildctl-daemonless.sh build \--frontend \dockerfile.v0 \--local \context=. \--local \dockerfile=. \--opt filename={{workflow.parameters.dockerfile}} \build-arg:GOPROXY=http://goproxy.cn,direct \--output \type=image,\"name={{workflow.parameters.container_image}}:${tag},{{workflow.parameters.container_image}}:latest\",push=true,registry.insecure=true \--export-cache mode=max,type=registry,ref={{workflow.parameters.container_image}}:buildcache \--import-cache type=registry,ref={{workflow.parameters.container_image}}:buildcacheecho "Build And Push Container Image {{workflow.parameters.container_image}}:${tag} and {{workflow.parameters.container_image}}:latest Complete."env:- name: BUILDKITD_FLAGSvalue: --oci-worker-no-process-sandbox- name: DOCKER_CONFIGvalue: /.dockervolumeMounts:- name: workdirmountPath: /workdir- name: docker-configmountPath: /.dockersecurityContext:seccompProfile:type: UnconfinedrunAsUser: 1000runAsGroup: 1000resources:requests:memory: 4Gicpu: 2activeDeadlineSeconds: 1200depends: run-test

在控制台运行 CI Pipeline

  1. 登录 ACK One 工作流集群控制台 [ 7]
  2. 在基础信息，开启工作流控制台（Argo） ，并访问进入页面
  3. 左侧菜单栏 Cluster Workflow Templates，单击 ci-go-v1 预置模板进入详情页
  4. 单击+ SUBMIT，在右侧填入您的参数，单击下方+ SUBMIT

图片

参数说明：

image.png

执行完以后，可在 Argo UI 的 workflow 详情页查看运行情况，如下所示：

图片

总结

ACK One Serverless Argo 工作流作为全托管的 Argo 工作流服务，可以帮助您实现更大规模、具有更快的运行速度、及更低成本的 CI Pipeline，与 ACK One GitOps [ 8] （Argo CD）、Argo Event 等事件驱动架构可以构建完整的自动化 CI/CD Pipeline。

欢迎加入 ACK One 客户交流钉钉与我们一同交流。（钉钉群号：35688562）

相关链接：

[1] Argo Workflows

https://argoproj.github.io/argo-workflows/

[2] ACK One Serverless Argo 工作流**

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/overview-12

[3] 抢占式 ECI 实例

https://help.aliyun.com/zh/eci/use-cases/run-jobs-on-a-preemptible-instance?spm=a2c4g.11186623.0.i7

[4] BuildKit

https://github.com/moby/buildkit

[5] BuildKit Cache

https://github.com/moby/buildkit?tab=readme-ov-file#cache

[6] 最佳实践

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/use-cases/building-a-ci-pipeline-of-golang-project-based-on-workflow-cluster

[7] ACK One 工作流集群控制台

https://account.aliyun.com/login/login.htm?oauth_callback=https%3A%2F%2Fcs.console.aliyun.com%2Fone%3Fspm%3Da2c4g.11186623.0.0.555018e1SiD2lC#/argowf/cluster/detail

[8] ACK One GitOps

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/gitops-overview

这篇关于云原生时代：从 Jenkins 到 Argo Workflows，构建高效 CI Pipeline的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1035536。

相关文章

C++高效内存池实现减少动态分配开销的解决方案

C++高效内存池实现减少动态分配开销的解决方案

《C++高效内存池实现减少动态分配开销的解决方案》C++动态内存分配存在系统调用开销、碎片化和锁竞争等性能问题,内存池通过预分配、分块管理和缓存复用解决这些问题,下面就来了解一下... 目录一、C++内存分配的性能挑战二、内存池技术的核心原理三、主流内存池实现：TCMalloc与Jemalloc1. TCM
阅读更多...
Python基于微信OCR引擎实现高效图片文字识别

Python基于微信OCR引擎实现高效图片文字识别

《Python基于微信OCR引擎实现高效图片文字识别》这篇文章主要为大家详细介绍了一款基于微信OCR引擎的图片文字识别桌面应用开发全过程,可以实现从图片拖拽识别到文字提取,感兴趣的小伙伴可以跟随小编一... 目录一、项目概述1.1 开发背景1.2 技术选型1.3 核心优势二、功能详解2.1 核心功能模块2.
阅读更多...
基于Python构建一个高效词汇表

基于Python构建一个高效词汇表

《基于Python构建一个高效词汇表》在自然语言处理（NLP）领域,构建高效的词汇表是文本预处理的关键步骤,本文将解析一个使用Python实现的n-gram词频统计工具,感兴趣的可以了解下... 目录一、项目背景与目标1.1 技术需求1.2 核心技术栈二、核心代码解析2.1 数据处理函数2.2 数据处理流程
阅读更多...
Python FastMCP构建MCP服务端与客户端的详细步骤

Python FastMCP构建MCP服务端与客户端的详细步骤

《PythonFastMCP构建MCP服务端与客户端的详细步骤》MCP（Multi-ClientProtocol）是一种用于构建可扩展服务的通信协议框架,本文将使用FastMCP搭建一个支持St... 目录简介环境准备服务端实现（server.py）客户端实现（client.py）运行效果扩展方向常见问题结
阅读更多...
详解如何使用Python构建从数据到文档的自动化工作流

详解如何使用Python构建从数据到文档的自动化工作流

《详解如何使用Python构建从数据到文档的自动化工作流》这篇文章将通过真实工作场景拆解,为大家展示如何用Python构建自动化工作流,让工具代替人力完成这些数字苦力活,感兴趣的小伙伴可以跟随小编一起... 目录一、Excel处理：从数据搬运工到智能分析师二、PDF处理：文档工厂的智能生产线三、邮件自动化：
阅读更多...
Python中bisect_left 函数实现高效插入与有序列表管理

Python中bisect_left 函数实现高效插入与有序列表管理

《Python中bisect_left函数实现高效插入与有序列表管理》Python的bisect_left函数通过二分查找高效定位有序列表插入位置,与bisect_right的区别在于处理重复元素时... 目录一、bisect_left 基本介绍1.1 函数定义1.2 核心功能二、bisect_left 与
阅读更多...
详解如何使用Python从零开始构建文本统计模型

详解如何使用Python从零开始构建文本统计模型

《详解如何使用Python从零开始构建文本统计模型》在自然语言处理领域,词汇表构建是文本预处理的关键环节,本文通过Python代码实践,演示如何从原始文本中提取多尺度特征,并通过动态调整机制构建更精确... 目录一、项目背景与核心思想二、核心代码解析1. 数据加载与预处理2. 多尺度字符统计3. 统计结果可
阅读更多...
Python使用FFmpeg实现高效音频格式转换工具

Python使用FFmpeg实现高效音频格式转换工具

《Python使用FFmpeg实现高效音频格式转换工具》在数字音频处理领域,音频格式转换是一项基础但至关重要的功能,本文主要为大家介绍了Python如何使用FFmpeg实现强大功能的图形化音频转换工具... 目录概述功能详解软件效果展示主界面布局转换过程截图完成提示开发步骤详解1. 环境准备2. 项目功能结
阅读更多...
一文教你Java如何快速构建项目骨架

一文教你Java如何快速构建项目骨架

《一文教你Java如何快速构建项目骨架》在Java项目开发过程中,构建项目骨架是一项繁琐但又基础重要的工作,Java领域有许多代码生成工具可以帮助我们快速完成这一任务,下面就跟随小编一起来了解下... 目录一、代码生成工具概述常用 Java 代码生成工具简介代码生成工具的优势二、使用 MyBATis Gen
阅读更多...
Python Pandas高效处理Excel数据完整指南

Python Pandas高效处理Excel数据完整指南

《PythonPandas高效处理Excel数据完整指南》在数据驱动的时代,Excel仍是大量企业存储核心数据的工具,Python的Pandas库凭借其向量化计算、内存优化和丰富的数据处理接口,成为... 目录一、环境搭建与数据读取1.1 基础环境配置1.2 数据高效载入技巧二、数据清洗核心战术2.1 缺失
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2