从数字孪生到克隆地球 | 虚幻引擎专访51WORLD

2024-04-10 21:36

本文主要是介绍从数字孪生到克隆地球 | 虚幻引擎专访51WORLD,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

以下文章来源于虚幻引擎 ,作者Dawei

推荐语:

3月1日,我们最新的数字地球平台51Earth正式上线,同期,51Earth预热大片也在B站亮相,短短1周播放量达50万,1个月近100万,引发了行业内外的广泛关注,其中,也引起了虚幻引擎的特别关注。

虚幻引擎特别专访多位51Earth研发专家,详细报道了平台的诞生始末并逐一拆解其中技术原理、研发挑战与未来规划,以下为专访原文,精彩不容错过!

近期,一段名为《51earth.com 正式上线》的视频在B站上引起了不小的轰动,短短几周内就累积了近100万的播放量,成为热门搜索的焦点。

比较有趣的是,此视频内容并未涉及任何新闻热点,既没有扣人心弦的剧情,也没有鲜活生动的人物。然而,就是这样一段简单纯粹的关于“地球”的高精度风光片和技术演示,竟引来无数网友粉丝的围观追捧。

51earth.com 正式上线

该视频的发布者是51WORLD,熟悉数字孪生行业的朋友对于51WORLD这家公司应该并不陌生,甚至可以说多年来他们的成长几乎与UE在数字孪生行业的发展保持同步,从10年前最早的VR看房,到后来的建筑数字孪生,智慧工厂等,51WORLD多年来一直在寻求自身的技术创新和发展。

回顾过往,笔者依然对几年前的那个“克隆上海”的UE4项目印象深刻,记得当时他们提出了“地球克隆计划”的口号,有些人或许觉得有点浮夸,甚至不太理解其中的意义。然而,随着51Earth的发布,让更多的人看到了51WORLD在用实实在在的技术一步步地兑现当初的承诺,也对51WORLD和虚幻引擎有了新的认识。

最近刚好因为工作需要,笔者来到了51WORLD上海公司的总部,带大家从数字孪生到克隆地球,一起认识一下51WORLD。

1. 51WORLD的涵义是什么?为什么会以此来命名公司?

地球表面的总面积是5.1亿平方公里。我们致力于克隆地球,通过创造一个真实,完整且恒久的数字孪生地球,让真实世界变得更高效,安全和美好。我们以此为目标,所以叫51WORLD。

2. 能否概括介绍下虚幻引擎在51WORLD个业务板块中的总体应用情况?

目前51WORLD旗下共有四大业务品牌:

  • 51Earth:专注于地球克隆技术开发与城市级通用资产制作。

  • 51Aes:数字孪生领域。(包括城市、园区、地产、工业、能源、水务等)

  • 51Sim:交通与智能驾驶仿真领域。

  • 51Meet:元宇宙与沉浸式体验领域。

虚幻引擎作为核心实时渲染能力,通过云渲染方式与前端技术进行结合来服务以上四大业务板块。

3. 51WORLD的数字孪生和模拟仿真业务涉及领域广泛,虚幻引擎被应用到业务中最早可以追溯到什么时候?起初为什么引用引擎作项目?

在2015年的时候,公司成立了制作VR楼宇展示的团队,当时就开始使用虚幻引擎4制作项目。

我们主要看中的是UE4实时渲染效果和工具的便利性所带来的制作效率,后来随着公司业务发展,虚幻引擎的应用也产生了较好的延续性,我们不断在引擎的基础上开发自己的套件并持续累积,从UE4.15到4.26 ,再到现在的UE5。项目涵盖了从VR应用、VR游戏、数字孪生应用、交通与智能驾驶、元宇宙应用、再到数字地球。

4. 数字孪生到克隆地球的跨度非常巨大,从UE4时期到后来的UE5,有哪些技术在51Earth的项目中起到较大作用?

  • 从UE4到 UE5,从float升级到double,计算范围有了很大提升,可以支持行星级。

  • UE5的Nanite技术,可以大大降低显存消耗,支持更高精度、更大规模的模型渲染;51Earth亮点之一的实时生成技术依托于模块化生成,模块本身也是基于Nanite,使得实时生成可以表现更加复杂、精确的模型。

  • UE5的VSM相对于传统的CSM,可以表现距离更长,精度更高的投影,对于51Earth的渲染品质有很大的帮助。

图片

5. 如果把51WORLD的成长分为几个阶段,51Earth现在处于哪个阶段?

51WORLD的愿景是创造一个真实、完整且恒久的数字孪生世界,大致上可以分五个阶段来实现:

  • W1静态世界(2015-2017)

  • W2动态世界(2017-2020)

  • W3半模拟世界(2020-2023)

  • W4全模拟世界(2023-2026)

  • W5数字孪生世界(2026-2030)

51Earth目前处于W4阶段。

6. 51Earth到底是一款怎样的产品?

我们近期发布了51Earth的demo,大家可以从地球到建筑流畅地浏览整个地球。

51Earth底层依托于多年自动生成与数字孪生的经验还原了地形、建筑、道路、水域、植被等要素。客户端下载为5GB左右,2060级别以上显卡PC可以流畅运行,用户可以通过搜索城市,地区或地标建筑等随意跳转至任意地区进行实时3D游览。

通过这个demo我们验证了克隆地球的基本技术路线,未来希望在城市级高质量数字资产与基于语义的实时生成技术等领域合作。

产品特性

  • 基于语义数据生成的,通过矢量与标签等语义描述可以持续积累,更新。相对于模型化数据更有优势,也不受模型工艺的迭代限制。

  • 它是实时生成的,只要数据源变化时候结果会立马跟着变化,不需要离线生成过程,在容量大小与及时性上有很大优势。

  • 实时编辑能力,不仅是在编辑器里可以被编辑,运行态依然可以编辑,也可以通过其他数据编辑工具修改原数据达到场景变化能力。

  • 所有数据都是有金字塔结构,保证在任意视角下都流畅。

  • 基于网络流式加载数据,客户端较小。

7. 大概是什么时候有了要开发51Earth的想法和计划?

2019年末第三届地球克隆计划大会上,我们首次公开展示了地球到上海全域的实时demo,当时可以用12小时生成一座数千平方公里的具有较高精度的城市,后续一直在优化生成效果、运行效率、易用性、扩展性等内容,帮助我们在数字孪生领域完成了从园区级到城市级的跨越。

[聚焦]克隆上海 | BIM

随着硬件的进步,虚幻的发展,生成技术的积累,渐渐觉得克隆整个地球可以被完成。

在2023年10月正式开始了51Earth这个计划,摒弃了原来笨重的离线生成技术转向了实时生成,经过了5个月的努力证实了通过实时生成是有机会完成克隆地球的。

8. 听到Clone地球这个idea第一感觉是不可思议,地球之大难以想象,解决方案是什么?

地球表面有5.1亿平方公里。

我们至少要面临两个艰巨的任务和挑战:生成时间太长、数据体量太大。

生成时间长的问题

我们在第3-6届地球克隆计划大会现场展示的重磅DEMO都是采用离线生成技术,实现了地球级到一个城市群的呈现。经估算,使用离线生成技术,完成一次全地球生成,需几百年。但实时生成技术,就能实现及时生成,即鼠标拖到哪里就生成到哪里。

离线生成一个tile就需几分钟时间,而实时生成技术的要求为毫秒级,对速度的要求很苛刻,好在之前有各种技术探索的积累,我们成功攻克了生成速度与效果之间的平衡。

数据体量太大

基于语义的实时生成只需要存储原始语义数据,而不需要存储模型数据,存储量少了好几个量级。即使这样数据量还是没法在本地客户端完整运行。

我们观察到其实每个用户访问的数据是地球的很小的一部分。而在线流式加载数据在地理信息行业来说相当普及,所以我们决定使用通过在线数据访问的形式,尽可能减小客户端大小。

再结合我们一直以来积累的,大世界调度等技术积累,完成了这个地球克隆的demo。

9. 大地形是如何生成的,过程中有遇到哪些挑战?

  • 超大地形渲染问题

大地形渲染方面使用了比较普遍的四叉树金字塔调度系统,保障在任意视距下视觉精度保持一致,保障CPU与GPU开销平稳。这块内容可以参考UE的Landscape相关代码,但UE的Landscape与大世界系统还不能满足地球级大小,所以需要自己去实现scene proxy。

  • 超大地形数据加载问题

数据方面也会做好金字塔,跟调度系统一样读取对应块的数据,不用的数据会及时释放,确保内存与显存内不会持续积累,并保持在较低的开销。

  • 边缘衔接与自然过渡

整个LOD需要还需要考虑边缘的衔接与自然过渡问题。需要在不同级别的金字塔之间还需要把地形边缘缝合起来,避免出现漏缝问题。

图片

10. 人文建筑和景观生成方式是什么?

地表建筑方面是采用人工建模,再通过坐标信息描述让运行时能把地表建筑展现在对的位置。未来地表建筑会采用更加通用的适合流式加载的模型格式,比如gltf、usd等格式,方便创作者可以上传自己的模型来共同创建整个地球。

11. Earth里面自然生态的系统建模是如何实现的?

自然生态方便需要用到各种专业机构的用地分类、生态分类、植被密度图等信息。

保证我们种出来的树木在不同的区域会适配不同的种类,密度等信息。

图片

(GlobeLand30)

图片

(全球生态分类)

12. 光照和自然环境是如何实现的?

我们利用了UE5原生强大的灯光、大气系统等,以及引擎提供的Lumen、AO、Path Tracer等feature,可以实时渲染出非常真实自然的视觉效果(截图城市为利雅得,上图为UE5,下图为真实照片)。

图片

图片

13. Earth在本地运行的硬件需求是怎样的?如何对其进行优化的?

图片

目前客户端只支持是directx12(sm6)需要20系列级以上显卡。

整体优化经验,动静结合的思路:

动态调度

  • 作为行星级别的应用,动态调度必不可少,需要计算SSD到内存到显存的带宽,合理分割数据和渲染资源。

  • 尽量使用GPU并发特性,像整个地形系统都是GPU Driven。

  • 管理好Cpu cache与GPU cache,做好加载与回收的平衡,在持续浏览中不要出现无用的内存与显存的占用。

静态渲染

  • 控制单帧画面整体三角面以及drawcall数量。

  • 优化Nanite模型的建模方式,控制Nanite Cluster的上限。

  • 控制单帧画面显存容量,与三角面、贴图等等美术资源相关。

14. 从51WORLD的角度来看,AIGC和UE实时引擎未来如何分工应用?

AI已经展现出了多视角长时长下一致性较高的图像,场景的真实度和细节也很好。如果从模拟仿真这类场景的角度看,生成式视频模型所做的事情和游戏引擎没有本质区别,只是一个是更可控的显式的,一个是数据驱动的隐式的。

游戏引擎如果要达到较强的真实感门槛较高,需要建模或扫描大量的高质量资产,优点是可控制性和可编辑性较强,世界完全受控。AI的可编辑性以及可控性从目前的展示来看还不确认,挑战还是比较大。

目前,合成数据主要分为三个路线——物理仿真与图形渲染路线、基于神经辐射场(NeRF、3DGaussion等)的场景重建路线以及基于世界模型的生成路线。

AI基于世界模型的生成路线还处于发展的早期阶段,与视频创作领域不同,模拟仿真大场景落地确定性要求比较高,需要呈现出一致性和物理规律,如何可控的生成更多有价值的corner case还有待深入探讨,但后续发展空间是巨大的。

15. Earth目前的状况如何,还有哪些计划?

目前我们正在全力做Earth的产品化开发,已有两款产品TWE(The Whole Earth)UGA(Urban General Asset)

TWE专注于世界生成技术,开发者可以通过语义数据实时生成动态的地球,期待与开发者进行深度技术合作,共同完成用户自己的地球。

UGA是面向应用开发者,提供城市级的通用资产,可在引擎中流畅加载超大面积的高精度场景,并支持场景的自由编辑。我们将在2025年9月前上线全球至少100个城市。帮助数字孪生、游戏影视、AI训练等领域开发者节省成本,提高效率。

16. 未来Earth在产品层面如何落地?

我们希望未来的51Earth是一个可以把城市创作者与应用开发者的链接的产品。城市创作者可以在51Earth当中像《都市天际线》一样建造城市、共同参与到地球克隆愿景。

应用开发者,可以基于城市数据+开发套件可以开发出丰富多彩的游戏、应用等内容。

17. 感谢接受采访,从哪些渠道可以了解51WORLD和51Earth的最新动态和产品更新?

可关注51WORLD及51Earth官方网站:

https://51world.com.cn/

https://51earth.com/

也可关注51WORLD微信公众号,回复关键词【UE开发者】,加入交流群,技术答疑、产品试用、最新资讯等你来!

这篇关于从数字孪生到克隆地球 | 虚幻引擎专访51WORLD的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/892211

相关文章

LiteFlow轻量级工作流引擎使用示例详解

《LiteFlow轻量级工作流引擎使用示例详解》:本文主要介绍LiteFlow是一个灵活、简洁且轻量的工作流引擎,适合用于中小型项目和微服务架构中的流程编排,本文给大家介绍LiteFlow轻量级工... 目录1. LiteFlow 主要特点2. 工作流定义方式3. LiteFlow 流程示例4. LiteF

SpringBoot集成LiteFlow实现轻量级工作流引擎的详细过程

《SpringBoot集成LiteFlow实现轻量级工作流引擎的详细过程》LiteFlow是一款专注于逻辑驱动流程编排的轻量级框架,它以组件化方式快速构建和执行业务流程,有效解耦复杂业务逻辑,下面给大... 目录一、基础概念1.1 组件(Component)1.2 规则(Rule)1.3 上下文(Conte

Python基于微信OCR引擎实现高效图片文字识别

《Python基于微信OCR引擎实现高效图片文字识别》这篇文章主要为大家详细介绍了一款基于微信OCR引擎的图片文字识别桌面应用开发全过程,可以实现从图片拖拽识别到文字提取,感兴趣的小伙伴可以跟随小编一... 目录一、项目概述1.1 开发背景1.2 技术选型1.3 核心优势二、功能详解2.1 核心功能模块2.

MySQL 存储引擎 MyISAM详解(最新推荐)

《MySQL存储引擎MyISAM详解(最新推荐)》使用MyISAM存储引擎的表占用空间很小,但是由于使用表级锁定,所以限制了读/写操作的性能,通常用于中小型的Web应用和数据仓库配置中的只读或主要... 目录mysql 5.5 之前默认的存储引擎️‍一、MyISAM 存储引擎的特性️‍二、MyISAM 的主

Python实现特殊字符判断并去掉非字母和数字的特殊字符

《Python实现特殊字符判断并去掉非字母和数字的特殊字符》在Python中,可以通过多种方法来判断字符串中是否包含非字母、数字的特殊字符,并将这些特殊字符去掉,本文为大家整理了一些常用的,希望对大家... 目录1. 使用正则表达式判断字符串中是否包含特殊字符去掉字符串中的特殊字符2. 使用 str.isa

使用PyTorch实现手写数字识别功能

《使用PyTorch实现手写数字识别功能》在人工智能的世界里,计算机视觉是最具魅力的领域之一,通过PyTorch这一强大的深度学习框架,我们将在经典的MNIST数据集上,见证一个神经网络从零开始学会识... 目录当计算机学会“看”数字搭建开发环境MNIST数据集解析1. 认识手写数字数据库2. 数据预处理的

java字符串数字补齐位数详解

《java字符串数字补齐位数详解》:本文主要介绍java字符串数字补齐位数,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Java字符串数字补齐位数一、使用String.format()方法二、Apache Commons Lang库方法三、Java 11+的St

C#原型模式之如何通过克隆对象来优化创建过程

《C#原型模式之如何通过克隆对象来优化创建过程》原型模式是一种创建型设计模式,通过克隆现有对象来创建新对象,避免重复的创建成本和复杂的初始化过程,它适用于对象创建过程复杂、需要大量相似对象或避免重复初... 目录什么是原型模式?原型模式的工作原理C#中如何实现原型模式?1. 定义原型接口2. 实现原型接口3

MySQL常见的存储引擎和区别说明

《MySQL常见的存储引擎和区别说明》MySQL支持多种存储引擎,如InnoDB、MyISAM、MEMORY、Archive、CSV和Blackhole,每种引擎有其特点和适用场景,选择存储引擎时需根... 目录mysql常见的存储引擎和区别说明1. InnoDB2. MyISAM3. MEMORY4. A

MySQL InnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据

《MySQLInnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据》mysql的ibdata文件被误删、被恶意修改,没有从库和备份数据的情况下的数据恢复,不能保证数据库所有表数据... 参考:mysql Innodb表空间卸载、迁移、装载的使用方法注意!此方法只适用于innodb_fi