北航团队让AI起头“造地球”：一句话天生无界三维世界

近期，，，，，，，，来自北京航空航天大学史振威教授和邹征夏教授团队的一项钻研，，，，，，，，将视觉天生式基础模型拓展到空间维度，，，，，，，，让 AI 天生世界尺度三维场景成为可能。。。。。。。。 从前，，，，，，，，天生式 AI 不休扩大参数、数据和模态规模，，，，，，，，却很少有人把空间尺度作为基础模型新的扩大维度。。。。。。。。在这项钻研中，，，，，，，，钻研人员开发了一个面向广域地球观测场景的天生式基础模型 MetaEarth3D，，，，，，，，初次将天生式基础模型从二维遥感影像扩大到大规模三维场景天生。。。。。。。。 只必要给定文字或卫星图，，，，，，，，它就能天生从大规模地形到中等尺度城市再到精密尺度街区无界且陆续一致的三维世界，，，，，，，，并支持虚构相机自由飞行。。。。。。。。更关键的是，，，，，，，，天生场景自带高度、距离等原生空间标注，，，，，，，，可直接用于训练无人机等空天 AI 模型，，，，，，，，实测空间理解能力均匀提升 22.85%。。。。。。。。 该技术为数字地球、空间智能与具身智能仿真打造了一个可无限扩大的天生式模拟器，，，，，，，，且无需依赖昂贵难以获取的真实三维数据。。。。。。。。 近日，，，，，，，，有关论文以《MetaEarth3D：通过空间可扩大的天生式建模解锁全球尺度的 3D 天生》（Metaearth3D: Unlocking World-Scale 3D Generation With Spatially Scalable Generative Modeling）为题在预印本网站 arXiv 放出，，，，，，，，并已经被《国度科学评论》（National Science Review）正式接管。。。。。。。。北京航空航天大学史振威教授和邹征夏教授为本文的共同通讯作者。。。。。。。。 必要明确的是，，，，，，，，MetaEarth3D 与谷歌地球在技术蹊径上有性质区别。。。。。。。。谷歌地球的主题逻辑，，，，，，，，是将真实世界预先沉建并“搬”进推算机：通过航拍、卫星遥感和三维沉建等方式天生场景数据，，，，，，，，再以三角网格、点云等特定体式存储在服务器中。。。。。。。。 当用户查看某一区域时，，，，，，，，系统会挪用对应的数据，，，，，，，，将其加载并渲染到屏幕上。。。。。。。。因而，，，，，，，，谷歌地球性质上是一套预先采集、沉建并存储的三维世界数据库。。。。。。。。它可能高度还原真实环境，，，，，，，，但其建设依赖大规模数据采集和沉建，，，，，，，，造备流程复杂，，，，，，，，成本高昂。。。。。。。。 而 MetaEarth3D 选取的是齐全基于神经网络驱动的 AI 范式，，，，，，，，相当于用天生式 AI 造出一个超大领域空间尺度的、“不存在”的三维世界。。。。。。。。与此同时，，，，，，，，这些天生的世界在地形结构、空间关系和视觉散布等统计特点上切合真实世界法规。。。。。。。。 这意味着，，，，，，，，钻研人员不仅验证了生功成效的视觉真实性，，，，，，，，也验证了天生场景在地貌高度、地理语义等统计散布上与真实世界维持一致。。。。。。。。它原生于神经网络内部，，，，，，，，并且拥有可控性：用户可凭据需要描述进展的场景，，，，，，，，模型即可天生对应场景，，，，，，，，且天生了局多样，，，，，，，，无限无尽。。。。。。。。 值得关注的是，，，，，，，，只管该模型占有 46 亿参数，，，，，，，，但在推理时并不必要重大的算力支持。。。。。。。。论文数据显示，，，，，，，，在一张消费级显卡（NVIDIA RTX 3090）上，，，，，，，，模型可在约 2 幼时内天生约 17 平方公里的城区级三维场景。。。。。。。。 其基于约 1,000 万全球散布图像训练，，，，，，，，给定文本描述或卫星影像，，，，，，，，即可天生多层级、空间一致陆续、可无界扩大的显式 3D 地球场景，，，，，，，，覆盖山脉、戈壁、雪地、海岸线等大尺度天然地貌，，，，，，，，也蕴含城市街区、路路和构筑群等精密尺度结构。。。。。。。。 这套世界尺度三维天生能力并非一挥而就，，，，，，，，而是团队在前序钻研基础上迭代优化而来。。。。。。。。据相识，，，，，，，，MetaEarth3D 是该团队在钻研成就 MetaEarth 基础模型（IEEE TPAMI 2025, 47(3) ) 的三维拓展。。。。。。。。 首先，，，，，，，，这是一个此前险些没有成熟范式可循的问题，，，，，，，，面向世界尺度三维天生的天生式框架尚属空缺。。。。。。。。当前大领域三维场景暗示和天生步骤蕴含神经辐射。。。。。。。。∟eRF）、三维高斯泼溅 (3DGS)、体素或点云霄示，，，，，，，，以及视频式世界模型等，，，，，，，，但这些步骤各自存在不及，，，，，，，，不论可扩大能力、场景容量以及空间陆续一致性都容易出现问题。。。。。。。。 为相识决上述问题，，，，，，，，钻研团队提出了渐进式概率散布转移的框架，，，，，，，，以此为基础构建天生式规划。。。。。。。。该框架将问题解耦为空间维度、尺度维度的天生，，，，，，，，并在概率转移框架下实现模型构建。。。。。。。？？？？？？？？蚣苋妨⒑螅，，，，，，，钻研人员网络了大量实测数据进行训练，，，，，，，，并在数据网络、洗濯、整顿等环节都投入了大量精力。。。。。。。。 从范式上来看，，，，，，，，现有的三维空间天生范式并不合用于超大空间尺度的天生问题，，，，，，，，主题卡点是大规模三维实景数据采集、标注成本极高。。。。。。。。在算法层面，，，，，，，，由于三维空间必要依赖于大量三维实拍的数据作为训练样本，，，，，，，，造作成本昂贵。。。。。。。。 为绕开该数据瓶颈，，，，，，，，钻研团队选取了一个很奇妙的步骤：将三维场景转换为二维图像监督信号进行训练。。。。。。。。通过这一思路，，，，，，，，大量二维图像便于采集和堆集的优势得以充分阐扬。。。。。。。。与此同时，，，，，，，，在本次钻研的天生式范式框架的支持下，，，，，，，，既可能实现数据量的有效扩充，，，，，，，，也可能推动场景规模与尺度的持续扩大。。。。。。。。 基于这一创新天生范式，，，，，，，，MetaEarth3D 可能天生便于工程部署的显式三维场景，，，，，，，，可直接导入 UE、Unity 等通用图形引擎，，，，，，，，支持后续的渲染、编纂与交互。。。。。。。。分歧于依赖视频天生的技术路线，，，，，，，，它直接构建空间一致的三维暗示，，，，，，，，预防了误差累积导致的长程漂移。。。。。。。。 此表，，，，，，，，将来可在此之上向物理属性进一步扩大。。。。。。。。例如，，，，，，，，对于分歧的天生构筑物、地物等空间身分，，，，，，，，蕴含材质及其他物理参数在内的物理属性，，，，，，，，均可通过这种显式方式在其中进行天生。。。。。。。。MetaEarth3D 不局限于天生三维地球场景，，，，，，，，也为广域空天平台的空间智能提供了可规模唬唬唬唬；卣沟奶焐绞菀。。。。。。。。 与当前天生式世界模型多聚焦于机械臂、四足机械人进行桌面操作等受限环境分歧，，，，，，，，这项技术在空间智能方向拥有利用潜力，，，，，，，，出格是涉及低空无人机、无人驾驶车辆等跨场景、跨尺度作业，，，，，，，，为空间智能和“黑天鹅”场景提供天生底座的能力。。。。。。。。 另一方面，，，，，，，，基于天生式步骤，，，，，，，，有望为“黑天鹅场景”难题提供解决规划，，，，，，，，即那些固然罕见，，，，，，，，却一旦产生便产生沉大影响的、稀缺且关键的场景。。。。。。。。物理世界中有形形色色的无人系统、智能体、智能感知工作，，，，，，，，若是能够用天生式伎俩，，，，，，，，把“黑天鹅”事务和数据场景源源不休地天生出来，，，，，，，，有望基于此找到领域内的共性问题。。。。。。。。 也必要指出的是，，，，，，，，该钻研现阶段还存在肯定局限性。。。。。。。。现阶段，，，，，，，，钻研团队已经将空间维度已从二维拓展至三维，，，，，，，，但在功夫维度上尚存在提升空间。。。。。。。。 现有天生场景仍限于某一时刻，，，，，，，，尚未能出现地物随功夫推移的变动，，，，，，，，例如积雪覆盖的冬季与郁郁葱葱的夏季之间的转换，，，，，，，，或构筑物新增、拆除等人类活动所带来的影响。。。。。。。。钻研人员下一阶段的钻研指标，，，，，，，，或许将尝试在大功夫尺度上揭示地球场景的变动法规。。。。。。。。 此表，，，，，，，，就传感器而言，，，，，，，，现有钻研重要集中于光学传感器，，，，，，，，即通过可见光波段获取类似相机拍摄的场景。。。。。。。。然而，，，，，，，，现实中的空天无人智能体和遥感卫星往往建设多种传感器，，，，，，，，蕴含激光雷达，，，，，，，，以及在特殊作业环境下可能选取的热红表传感器等。。。。。。。。若何针对这些分歧传感器，，，，，，，，基于场景的物理属性进行天生与模拟，，，，，，，，也许是钻研团队关注的另一沉点方向。。。。。。。。 当空间、功夫以及更多物理属性逐步被纳入天生框架，，，，，，，，将来天生式 AI 可能不再只是一种内容天生的工具，，，，，，，，而是成为空间智能的沉要数据基础设施。。。。。。。。