爱分析基于杭州云器Lakehouse实现成本最优的一体化管理，新一代数据平台的建设方式

本文主要是介绍爱分析基于杭州云器Lakehouse实现成本最优的一体化管理，新一代数据平台的建设方式，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

导读

1.当前，企业在大数据和数据中台建设上取得成果，但数据开发管理仍具挑战性（成本、效率、复杂度）。

2.随数据平台领域成熟，厂商应结合自身需求，重新思考“基于开源自建数据平台”的重资产模式与“购买云上成熟数据产品”的轻资产模式。

3.组装式数据架构逐渐老旧。建议企业采用一体化为特点的新一代数据平台，能更好地解决成本优化、平台扩展性等问题，并可将更多资源投入到业务创新中。

十年数据平台建设，企业用户依然面临重重挑战。2013-2017年大数据平台建设，2018-2022年数据中台建设，两轮大规模数据平台建设后，企业用户取得一定成果，“数据驱动业务”理念深入人心，但在实际落地时，数据开发管理难度依然很大，数据需求响应速度依然不足。

DataFabric、DataOps、数据资产入表等多种解决方案兴起，从工具、流程、制度等维度去解决上述问题。这些方案都聚焦于数据开发管理这一层，更加贴近数据团队的日常工作，底层平台架构问题被掩盖，但同样需要关注。

01 企业的业务发展和精益管理对数据平台架构提出更高要求

宏观经济下行，“精益发展“成为多数企业经营策略后，企业用户数据平台建设现状已经暴露出诸多问题，需要新一代数据平台架构解决。

第一，数据平台日益复杂多样，数据开发运维难度日益增长。

数据应用场景愈发复杂，针对单一应用构建数据平台模式不可持续。

从早期的数据报表，到敏捷BI自助分析、再到以机器学习和LLM为代表的AI应用，数据应用场景越来越复杂。

过往企业用户习惯于面向单个数据应用构建一套数据平台，无形之中形成了新的“数据烟囱”现象。同时，业务与技术的深度融合，单个业务问题往往需要多个数据应用方式组合解决，使得数据运维管理成本呈现指数级增长。

离线实时并存，多种数据处理方式促使平台运维管理难度大幅增加。

“数据驱动业务增长“理念在越来越多企业真正落地，管理层和业务部门对数据应用的实时性提出更高要求。新数据应用的响应速度要求从天级、小时级逐步提升至分钟级、秒级，而原有T+1跑批任务依然需要支持，这让数据平台运维管理难度越来越大。

第二，更多IT预算投入到直接产生业务收益的场景，数据基础设施需要更具”性价比“。

2023年，“降本增效“成为主流，企业IT投资分布出现非常大的调整，更多预算投入到业务场景，投入到能够直接看到业务收益的场景，2024年将延续这一趋势，这意味着数据基础设施建设需要更具”性价比“。

减少数据平台重复建设，提升数据基础设施ROI。

数据平台重复建设一方面是增加平台本身运维管理成本，另一方面会造成存储/计算资源的浪费。如果采取统一数据平台，可以大大提升底层计算/存储资源的利用率，从整体提高数据基础设施的投资回报率。

更多人力资源投入到业务场景，建设统一数据平台架构，提升数据开发运维管理效率。

不论是企业用户自身IT人员还是外部供应商的服务人员，都被企业用户更多投入到业务项目中，很多大企业甚至在2023年出现裁撤纯运维人员，补充IT业务人员的态势。

这意味着企业用户的IT部门/数据部门需要用更少的团队来维持同等规模甚至不断扩大规模的数据平台，必须要从架构层面进行优化和迭代，提升运维管理人效，才能支撑越来越复杂、越来越重要的数据平台。

第三，以大模型为代表的AI应用爆发式发展，对数据平台提出更高要求。

非结构化数据价值提升，数据平台需要同时满足多数据类型运维管理需求。

大量AI应用需要基于企业内部非结构化数据进行训练，这类数据呈现出海量、低价值密度等特点。采取结构化数据的存储计算处理方式非常不经济，但又需要跟结构化数据进行统一管理，因为很多应用是“规则引擎+机器学习+LLM“多技术融合实现。

AI应用落地对企业数据基础设施提出更高要求。

AI技术一般是上接业务系统，下接数据平台，只有业务系统和数据平台都相对成熟，才能真正发挥AI价值，这意味着，全公司级统一的知识库、数据资产目录、数据模型、数据字典成为必备条件，这些对数据架构提出更高要求。

02 成本优化难、平台扩展性差是当前中大型企业数据平台主要问题

针对数据平台建设，爱分析调研了快消、消费电子、制造、地产、物流等领域头部企业，现将部分问题呈现如下：

基于调研成果，爱分析总结出当前中大型企业在数据平台架构的普遍性问题有以下两点

第一，数据计算存储成本高，现有技术架构无法实现成本优化。

企业用户希望数据平台成本可控的前提下，实现数据处理能力和业务支撑能力的增长，但实际情况不尽如人意。中大型企业多数选择自建数据平台，由于自建需要锁定资源，因此不得不预留一部分能够满足业务高峰期的资源池，这就推高了日常资源成本。

同时，这是一个业务流程发展迭代越来越快的时代，需要的业务实时性越来越高，固定资源模式就会面临扩容或缩容便利性的问题。便利性不仅仅是购买机器加入集群，还涉及到数据的重新排布、数据业务的改造等。

第二，数据量日益增长，现有数据平台架构的横向和纵向拓展升级能力不足。

由于数据技术创新加快，现有数据平台建设和运维团队受限于投入不能跟进每一个技术热点，从维护HDFS、Hive，到Atlas、Hudi、Presto等链路，需要熟悉运维管理十几个数据组件，又面临新技术比如联邦计算、数据湖、实时数仓，AI整合、DataFabric等冲击。

很多企业用户为了避免“技术绑架”，选择在当前开源体系上进行改造或者直接使用开源商业化产品，技术红利逐渐已经被挖掘完毕，存在较低的“效果上限”，遇到天花板。比如hadoop开源体系组件化发展的特征缺乏统一架构的整合，这样整体优化方向比较困难，局部的优化又难以解决整体问题。

03 一体化、开放、弹性是新一代数据平台架构的主要特点

不论是从企业业务管理视角出发，还是从解决当前数据平台的普遍性问题，企业用户需要采用一体化、开放、弹性的新一代数据平台架构，局部“修修补补“只能缓解问题，并不能从根本上来解决。

基于调研，爱分析发现数据平台厂商在这个领域价值凸显。

海外在一体化数据平台领域，如Snowflake，专注于提供多云之上的数据仓库服务。该公司成立于2012年，以其数据云平台帮助企业整合数据、构建数据分析闻名。此外海外还有如Databricks，提供开放且一体的数据平台，近年和AI服务进一步整合。

国内以云器为代表的数据平台厂商，提供一体化代数据平台，并已经在不少互联网和传统企业落地。

一体化数据架构的特点包括：

数据存储层面，由湖仓一体架构承接Data+AI的统一数据底盘，同时满足结构化数据和非结构化数据的高性价比存储需求。
数据分析层面，以“增量计算模式”统一批、流、交互三种计算模式，解决组装式Lambda架构存在的问题。
应用支撑层面，基于湖仓一体底盘向上迭代，与下层存储及数据分析引擎实现融合计算，服务于机器学习模型的训练和推理环节。

湖仓一体和增量计算是新一代数据平台架构的核心技术能力，增量计算在解决实时离线一体化、计算成本高、低成本下提升更多数据新鲜度等问题比传统计算模式有着显著增强。

04 新一代数据平台建设路径、难点及业务收益

新一代数据平台建设一般分成三个阶段，关键问题确认及解决方案设计、场景确认及POC验证、生产交付实施。其中，第一阶段和第三阶段存在不少难点。

第一阶段最大难点是如何收敛问题，实现对关键问题的重点突破。

当前市场环境，数据平台建设需要兼顾长期建设目标和短期业务收益，需要企业用户和数据平台顾问仔细分析拆解数据业务场景中所遇到的数据问题和数据平台问题，先圈定一两个场景，从关键问题切入，再逐渐替换其它场景。

同时，重点考量成本及风险。除了平台核心计算能力成本，还要考虑迁移的成本，包含时间、人力成本以及迁移风险。

第三阶段最大难点是从现有平台如何平稳迁移到新的数据平台，需要企业用户的IT部门、数据部门、业务部门和数据平台厂商深度配合，主要是以下问题：

1）存量任务迁移：数据迁移往往比较简单，有很多自研工具或者生态工具可以使用，任务迁移往往挑战比较多，以云器的产品为例，云器LH语法层面兼容Spark3 SQL语法标准并在其上做了很多扩展，如果是RDD开发/Java开发/其他方言SQL，会涉及到语法转换问题，存在一定工作量。

2）企业用户资源投入：迁移实施过程中企业用户需要投入足够资源支撑，特别是在正确性/性能等指标等验收确认工作，资源不足会导致项目进度延期。

3）生产业务切换：涉及到企业用户的业务部门配合，存在大量沟通协调工作，在传统企业会存在“部门墙”等阻力。

基于实现路径和难点的分析，不难看出如何明确业务收益是影响新一代数据平台建设的关键因素。一方面明确业务收益能够有效评估成本高低，进而衡量数据平台建设的ROI；另一方面，明确业务收益能够帮助IT部门/数据部门更加容易获取管理层和业务部门的认可和资源支持，有助于部门之间深度配合，保证平台建设如期完成和上线。

基于实际企业用户落地案例，爱分析总结出以下几点业务收益。