“一次编码、到处运行”,淘宝云端一体化探索

2024-03-17 04:32

本文主要是介绍“一次编码、到处运行”,淘宝云端一体化探索,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

640?wx_fmt=jpeg

作者|孙棋(空蒙)

出品|阿里巴巴新零售淘系技术部

导读:当前移动互联网业务研发运维模式,云与多端互相割裂,有些全栈的探索缺乏成功案例,行业对云端一体化研发这块仍是空白,我们要思考:

如何能实现 1 个研发支撑云 + android + iOS 三端的业务快速落地。

是否有新的研发运维模式,让程序员回归程序,“一次编码、到处运行”是我们的答案。我们在闲鱼项目验证,原本 60 天的项目时间减少了 20 天,提效 33% 。希望本文的分析也能够给大家带来收获。


业务研发模式的演进

  • 效率是业务研发运维模式演进核心驱动力

PC 互联网时代,单体应用包含前后端是最初的研发模式(淘宝经历开发人员写 velocity 模板,以及更早的 jsp、asp 页面)其实质是中心化搭火车的研发模型。

640?wx_fmt=png

随着业务发展复杂性快速增加,赶火车的交付模式,极大的限制了业务发展,因此诞生了服务化的拆分,淘宝在 09 年的五彩石项目即基于这样的背景,微服务是一种软件架构,这背后更是一种研发模式的变革,从中心化研发模式到分布式的研发模式升级。

在业务分布式研发模式升级的同时,前后端分离研发模式也在同步的演进,从 ajax 到专业前端独立完成业务闭环,职业分工细化提效。但对前端同学而言,服务端的运维始终是其痛苦的技术门槛,以及在阿里以 Java 语言为基础的中间件生态内,一直没有很好解决。

进入移动互联网时代,客户端同样也经历同样的演进,阿里集团以 atlas 实现了端分布式研发模式。但对比 pc 时代的前后端分离,移动时代又回到了 ajax 模式,端的同学只负责了端,没有实现业务自闭环。同时移动互联网带来了新的挑战,即跨 android 和 iOS 平台的问题, React Native、weex 等产品即在这个环境下诞生。

云端一体轻量级研发模式的核心挑战

如何让客户端同学更往后一步,实现业务落地的闭环能力,同时规避 BFF 层对客户端同学的在研发、运维以及跨语言面临集团 Java 技术中间件生态,关键是:

  • 对业务研发屏蔽代码运行环境

  • 跨云、端多平台能力

Java 语言最初的成功,“一次编译,到处运行”是关键,在 JVM 层面屏蔽了部分的运行环境;如何向研发提供语言无关的透明化代码运行环境是核心挑战,除了业务代码以外的事情全部让技术平台托管。

移动互联网这么多年云和端仍是割裂的各自为战的研发模式,业界也有全栈的探索,但没有很成功的案例,问题是技术门槛太高,对开发人员即要还要的太多,业务落地的复杂性而言没有本质的变化,原来 3 个人做的事情,简单的让一个人做而已,缺乏一个有效跨平台能力,尤其是跨云+端的平台能力。

研发模式演进的本质:降低技术门槛、跨平台能力。

“一次编码,到处运行”

让开发人员只关注业务逻辑编码,是研发模式的全新的下一个阶段,也是研发模式演进的本质体现。这个阶段云原生代表的技术给了我们很多的输入,通过容器化技术解耦基础设施,容器化编排降低了运维复杂性;通过服务网格实现了应用与中间件体系的解耦合;不可变基础设施,支持更高的一致性和可靠性,降低了复杂性;serverless 的理念,技术的演进为研发模式升级提供了新的契机。

GAIA 业务轻量级研发运维模式探索实践

基于这样的背景, GAIA 应孕而生,与闲鱼、 aplatform 淘系互动平台两大业务紧密合作,通过 GAIA 云端 FaaS 技术能力,重新定义了研发的职责和边界,让程序员回归最初的程序,结合端上的跨平台实现云端一体的轻量级业务研发运维模式。

闲鱼全新的研发模式如下图:

640?wx_fmt=png

进展结果:

  • 闲鱼业务落地实例,通过云端一体化研发模式,使原本 60 天的项目时间,减少了 20 天,提效 33% 。

  •  88 VIP 互动 aplatform ,几十万 QPS 业务流量平稳可靠运行,轻量级复合多容器设计模式的集团首次规模化验证。

GAIA设计理念

  • 通过容器化设计模式,把基础设施下沉与业务解耦,代码运行环境对业务透明化

轻量级复合多容器设计模式

640?wx_fmt=png

我们的应用目前都仍是富容器模式,重要的问题是容器职责不单一,造成隔离性以及业务与基础设施紧密耦合的问题。

容器做为 GAIA 的关键,其设计模式进行了革命性的升级,也是集团首次大规模的尝试。

  • 基于 K8s 的 pod 轻量级复合多容器能力,重新定义了业务与基础设施的边界,通过 sidecar 承载基础设施

  • 通过容器化的编排调度,实现资源、流量与容器生命周期统一,为按需使用奠定基础架构

  • 基于 configmap ,实现配置与环境解耦,实现容器镜像的不可变性,日常、预发、生产镜像的统一,降低复杂性

  • 基于 Init Container 技术,实现 function 业务与基础设施彻底解耦,通过容器生命周期初始化机制组合 function+ 基础设施构建运行态,为业务 function 与基础设施各自独立运维提供支撑

  • API 服务注册发现等基础设施能力下沉到 K8s 技术体系

通过这些容器的设计能力,业务研发只需要编写业务逻辑代码即可,同时通过声明式的 API 透出,快速完成了云端业务的落地能力在移动端,小程序等容器也封装隔离业务的运行环境, flutter 亦是如此,研发人员进入面向容器编程,通过容器来隔离基础设施,屏蔽运行环境平台的差异性。

640?wx_fmt=png

GAIA 是开放性的平台,按其容器设计规范,闲鱼对dart语言按规范应实现了function容器, aplatform 的引擎与 GAIA 的 Java 容器对接的成功,解决了平台型应用以及任何应用基于 GAIA 实现 serverless 化的解决路径(集团存量万+级别的应用)。

总结展望

目前 GAIA 和闲鱼以及 aplatform 淘系互动进行的实践是一次意义重大的定义探索, “一次编码,到处运行” ,让程序员回归程序,当前云端技术上是初步的结合,未来还待深度的体系挖掘建设未来的展望:

  • 业务轻量级研发运维模式是不可阻挡的未来

天下大事,分久必合合久必分,5G 万物互联即将到来,多种终端设备,需要轻量级研发运维模式的支持,从驱动研发模式演进的“降低技术门槛、跨平台能力”本质出发,高效的业务落地能力是王道,当前分云 +iOS+android 的多端多人协作模式必将逐步淘汰。

  • 面向容器化、统一 API 服务编程

云和端运行环境容器化,是业务与基础设施解耦的必经之路,通过容器化封装隔离运行环境,通过容器提供的统一的 API 服务接口交互;云与端容器技术会趋同,两端容器会紧密的互动,云端在技术体系上更深度的结合,实现云端技术体系闭环。

  • 工程体系归一,客户端、服务端统一版本化发布升级

目前割裂的研发模式,典型的表现是多端各自代码分支;业务云端一体化轻量级研发模式,业务的工程体系将会云端归一,在一个工程项目里面,定义服务接口,在云端容器实现服务透出,在客户端容器实现服务调用;同时云和端会统一化的版本化发布运维体系,这里需要对整个研发模式体系的再定义。

  • 技术部门组织架构的变革

人的要求变化,支持业务的组织生产关系将升级。

我们的使命

“革新研发模式、重构研发生态”

“一次编码、到处运行” - 业务云端一体化轻量级研发运维模式,等待我们一起建设。

One More Thing

淘宝基础平台部-基础服务团队,欢迎在容器、K8s、serverless、service mesh上感兴趣的同学,一起探索技术、创新突破,为阿里乃至业界创造新价值,简历投递 kobe.sunq@taobao.com

推荐阅读

640?wx_fmt=gif

640?wx_fmt=jpeg

阿里业务研发平台的新利器——GAIA横空出世

640?wx_fmt=png

640?wx_fmt=png

在看点这里

640?wx_fmt=gif

这篇关于“一次编码、到处运行”,淘宝云端一体化探索的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/817799

相关文章

Java -jar命令如何运行外部依赖JAR包

《Java-jar命令如何运行外部依赖JAR包》在Java应用部署中,java-jar命令是启动可执行JAR包的标准方式,但当应用需要依赖外部JAR文件时,直接使用java-jar会面临类加载困... 目录引言:外部依赖JAR的必要性一、问题本质:类加载机制的限制1. Java -jar的默认行为2. 类加

java -jar命令运行 jar包时运行外部依赖jar包的场景分析

《java-jar命令运行jar包时运行外部依赖jar包的场景分析》:本文主要介绍java-jar命令运行jar包时运行外部依赖jar包的场景分析,本文给大家介绍的非常详细,对大家的学习或工作... 目录Java -jar命令运行 jar包时如何运行外部依赖jar包场景:解决:方法一、启动参数添加: -Xb

eclipse如何运行springboot项目

《eclipse如何运行springboot项目》:本文主要介绍eclipse如何运行springboot项目问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目js录当在eclipse启动spring boot项目时出现问题解决办法1.通过cmd命令行2.在ecl

使用nohup和--remove-source-files在后台运行rsync并记录日志方式

《使用nohup和--remove-source-files在后台运行rsync并记录日志方式》:本文主要介绍使用nohup和--remove-source-files在后台运行rsync并记录日... 目录一、什么是 --remove-source-files?二、示例命令三、命令详解1. nohup2.

Spring Boot项目打包和运行的操作方法

《SpringBoot项目打包和运行的操作方法》SpringBoot应用内嵌了Web服务器,所以基于SpringBoot开发的web应用也可以独立运行,无须部署到其他Web服务器中,下面以打包dem... 目录一、打包为JAR包并运行1.打包为可执行的 JAR 包2.运行 JAR 包二、打包为WAR包并运行

基于Go语言实现Base62编码的三种方式以及对比分析

《基于Go语言实现Base62编码的三种方式以及对比分析》Base62编码是一种在字符编码中使用62个字符的编码方式,在计算机科学中,,Go语言是一种静态类型、编译型语言,它由Google开发并开源,... 目录一、标准库现状与解决方案1. 标准库对比表2. 解决方案完整实现代码(含边界处理)二、关键实现细

Java NoClassDefFoundError运行时错误分析解决

《JavaNoClassDefFoundError运行时错误分析解决》在Java开发中,NoClassDefFoundError是一种常见的运行时错误,它通常表明Java虚拟机在尝试加载一个类时未能... 目录前言一、问题分析二、报错原因三、解决思路检查类路径配置检查依赖库检查类文件调试类加载器问题四、常见

解决IDEA报错:编码GBK的不可映射字符问题

《解决IDEA报错:编码GBK的不可映射字符问题》:本文主要介绍解决IDEA报错:编码GBK的不可映射字符问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录IDEA报错:编码GBK的不可映射字符终端软件问题描述原因分析解决方案方法1:将命令改为方法2:右下jav

Python如何精准判断某个进程是否在运行

《Python如何精准判断某个进程是否在运行》这篇文章主要为大家详细介绍了Python如何精准判断某个进程是否在运行,本文为大家整理了3种方法并进行了对比,有需要的小伙伴可以跟随小编一起学习一下... 目录一、为什么需要判断进程是否存在二、方法1:用psutil库(推荐)三、方法2:用os.system调用

Python运行中频繁出现Restart提示的解决办法

《Python运行中频繁出现Restart提示的解决办法》在编程的世界里,遇到各种奇怪的问题是家常便饭,但是,当你的Python程序在运行过程中频繁出现“Restart”提示时,这可能不仅仅是令人头疼... 目录问题描述代码示例无限循环递归调用内存泄漏解决方案1. 检查代码逻辑无限循环递归调用内存泄漏2.