【译文】从语言到世界：空间智能是AI的下一个前沿

原文链接： From Words to Worlds: Spatial Intelligence is AI’s Next Frontier

作者：李飞飞

1950年，当计算还只是一种自动算术和简单逻辑时，阿兰·图灵 (Alan Turing) 提出了一个至今仍引人深思的问题：机器能思考吗？

他以非凡的想象力预见到了我们所看到的：智能有一天可以被“构建”出来，而非与生俱来。这一洞见后来催生了一场名为“人工智能”（AI）的持续科学探索。

在我投身AI领域的二十五年里，我仍然被图灵的愿景所激励。但我们到底离它有多近呢？答案并不简单。

如今，以大语言模型（LLM）为代表的顶尖AI技术已经开始改变我们获取和处理抽象知识的方式。然而，它们仍然是黑暗中的“文字大师”；能言善辩却缺乏经验，知识渊博却不接地气。空间智能将改变我们创造真实世界和虚拟世界以及与之互动的方式——它将彻底改变讲故事、创造力、机器人技术、科学发现等领域。

这就是AI的下一个前沿。

自我进入这个领域以来，追求视觉和空间智能一直是指引我的“北极星”。这就是为什么我花费数年时间构建了ImageNet，这是第一个大规模视觉学习和基准测试数据集，也是促成现代AI诞生的三个关键要素之一，另外两个是神经网络算法和现代计算（如图形处理单元GPU）。这就是为什么我在斯坦福的学术实验室在过去十年中一直将计算机视觉与机器人学习相结合。这也是为什么一年多以前，我与联合创始人Justin Johnson, Christoph Lassner, Ben Mildenhall 共同创立了 World Labs：为了首次全面实现这一可能性。

在这篇文章中，我将解释什么是空间智能，为什么它很重要，以及我们如何构建将解锁它的“世界模型”——其影响将重塑创造力、具身智能和人类进步。

空间智能：人类认知的“脚手架”

AI从未像现在这样激动人心。生成式AI模型（如LLM）已经从研究实验室走向日常生活，成为数十亿人用于创造、生产和交流的工具。它们展现了曾经被认为不可能的能力，能够轻松生成连贯的文本、堆积如山的代码、逼真的图像，甚至是短视频片段。AI是否会改变世界已不再是一个问题。以任何合理的标准来定义，它已经做到了。

然而，仍有太多东西遥不可及。自主机器人的愿景虽然引人入胜，但仍停留在推测阶段，远未成为未来学家长期承诺的日常生活设备。在疾病治疗、新材料发现和粒子物理学等领域实现研究大幅加速的梦想在很大程度上仍未实现。而让AI真正理解并赋能人类创造者的承诺——无论是帮助学生学习分子化学中复杂的概念、辅助建筑师可视化空间、协助电影制作人构建世界，还是为任何寻求完全沉浸式虚拟体验的人提供支持——仍然无法实现。

要了解为什么这些能力仍然遥不可及，我们需要探究空间智能是如何进化的，以及它是如何塑造我们对世界的理解的。

长期以来，视觉一直是人类智能的基石，但它的力量源于一些更基本的东西。早在动物能够筑巢、照顾幼崽、用语言交流或建立文明之前，感知这一简单的行为就悄然开启了通往智能的进化之旅。

这种从外部世界收集信息的看似孤立的能力，无论是微弱的光芒还是纹理的触感，在感知和生存之间架起了一座桥梁，并且随着世代交替，这座桥梁变得越来越坚固和精细。一层又一层的神经元从这座桥梁上生长出来，形成了神经系统，用于解释世界并协调生物体与其环境之间的互动。因此，许多科学家推测，感知和行动成为了推动智能进化的核心循环，也是自然界创造我们这个物种——感知、学习、思考和行动的终极体现——的基础。

空间智能在定义我们如何与物理世界互动方面扮演着基础性角色。每一天，我们都依赖它来完成最平凡的举动：通过想象保险杠与路边之间不断缩小的间隙来停车，接住别人从房间另一头扔过来的钥匙，穿过拥挤的人行道而不发生碰撞，或者睡眼惺忪地将咖啡倒入杯中而无需直视。在更极端的情况下，消防员需要穿过不断变化的烟雾，在坍塌的建筑物中穿行，对稳定性和生还可能性做出瞬间判断，并通过手势、肢体语言和一种无法用语言替代的共同职业本能进行交流。而婴幼儿在学会说话之前的数月或数年里，完全是通过与环境的嬉戏互动来学习这个世界的。所有这一切都发生得如此直观、自动——这是机器尚未掌握的流畅能力。

空间智能也是我们想象力和创造力的基础。故事讲述者在他们的脑海中创造出独特而丰富的世界，并利用多种形式的视觉媒体将其呈现给他人，从古老的洞穴壁画到现代电影，再到沉浸式视频游戏。无论是孩子们在沙滩上堆砌沙堡，还是在电脑上玩《我的世界》(Minecraft)，基于空间的想象力构成了在真实或虚拟世界中互动体验的基础。在许多行业应用中，对物体、场景和动态交互环境的模拟，为从工业设计到数字孪生再到机器人训练等无数关键业务用例提供了动力。

历史上充满了空间智能发挥核心作用并定义文明的时刻。在古希腊，埃拉托斯特尼 (Eratosthenes) 将影子转化为几何学——在赛伊尼 (Syene) 的太阳没有投下任何影子的精确时刻，他在亚历山大测量到了7度的夹角——从而计算出了地球的周长。哈格里夫斯 (Hargreave) 的“珍妮纺纱机”通过一个空间上的创见彻底改变了纺织制造业：将多个纺锤并排布置在同一个框架中，使得一名工人可以同时纺制多根纱线，生产率提高了八倍。沃森 (Watson) 和克里克 (Crick) 通过物理搭建3D分子模型发现了DNA的结构，他们不断调整金属板和金属丝，直到碱基对的空间排列“咔哒”一声契合到位。在每一个案例中，当科学家和发明家必须操控物体、可视化结构并对物理空间进行推理时，空间智能都推动了文明的进步——而这些都是无法单独用文本来捕捉的。

空间智能是构建我们认知的“脚手架”。无论我们是被动观察还是主动创造，它都在发挥作用。它驱动着我们的推理和规划，即使是在最抽象的话题上。它对于我们与同伴或环境进行语言或物理互动的方式至关重要。虽然我们大多数人并非每天都能像埃拉托斯特尼那样揭示新的真理，但我们通常会以同样的方式思考——通过我们的感官来感知这个复杂的世界，然后利用一种直观的理解，即它是如何在物理、空间层面上运作的。

不幸的是，今天的人工智能还不会这样思考。

过去几年确实取得了巨大进步。多模态大语言模型（MLLM）除了文本数据外，还接受了大量多媒体数据的训练，引入了一些基本的空间意识，如今的AI可以分析图片、回答相关问题，并生成超写实的图像和短视频。通过传感器和触觉技术的突破，我们最先进的机器人已经可以开始在高度受限的环境中操控物体和工具。

然而，坦率地说，AI的空间能力仍远未达到人类水平。而且其局限性很快就会显现出来。最先进的MLLM模型在估计距离、方向和大小——或通过从新角度重新生成对象来“精神上”旋转它们——方面的表现很少能超过随机猜测。它们无法在迷宫中导航、识别捷径或预测基本的物理现象。AI生成的视频——虽然尚处起步阶段但已非常酷——常常在几秒钟后就失去连贯性。

虽然当前最先进的AI在阅读、写作、研究和数据模式识别方面表现出色，但这些相同的模型在表示物理世界或与物理世界互动时，却带有根本性的局限性。我们对世界的看法是整体的，不仅仅是我们正在看什么，还包括一切事物如何在空间上关联，它意味着什么，以及为什么它很重要。通过想象、推理、创造和互动——而不仅仅是描述——来理解这一点，就是空间智能的力量。没有它，AI就与它试图理解的物理现实脱节。它无法有效地驾驶我们的汽车，引导机器人在我们的家庭和医院中工作，为学习和娱乐提供全新的沉浸式和交互式体验，或者加速材料科学和医学的发现。

哲学家维特根斯坦 (Wittgenstein) 曾写道：“我的语言的局限性意味着我的世界的局限性。”我不是哲学家。但我知道，至少对AI而言，世界不仅仅是语言。空间智能代表了超越语言的“前沿”——这种能力连接了想象、感知和行动，并为机器真正提升人类生活开启了可能性，从医疗保健到创造力，从科学发现到日常辅助。

AI的下一个十年：构建真正具有空间智能的机器

那么，我们该如何构建具有空间智能的AI呢？我们该如何通往这样的模型：它们能够拥有埃拉托斯特尼那样的视觉进行推理，拥有工业设计师那样的精度进行工程设计，拥有故事讲述者那样的想象力进行创作，并拥有急救人员那样的流畅性与环境互动？

构建具有空间智能的AI需要比LLM更宏大的目标——“世界模型”，这是一种新型的生成模型，它们在理解、推理、生成以及与语义、物理、几何和动态复杂的（虚拟或真实）世界互动方面的能力，远远超出了当今LLM的能力范围。

这个领域尚处于起步阶段，目前的方法从抽象推理模型到视频生成系统不一而足。World Labs 于 2024 年初正是基于这一信念而成立：基础方法仍在建立之中，这使其成为未来十年的决定性挑战。

在这个新兴领域，最重要的是确立指导发展的原则。对于空间智能，我通过三个基本能力来定义“世界模型”：

1. 生成性 (Generative)：世界模型能够生成具有感知、几何和物理一致性的世界 解锁空间理解和推理的世界模型，也必须能够生成它们自己的模拟世界。它们必须能够根据语义或感知指令，生成无穷无尽、多种多样的模拟世界——同时保持几何、物理和动态上的一致性——无论是表示真实空间还是虚拟空间。研究界正在积极探索这些世界在固有几何结构方面应该被隐式表示还是显式表示。此外，除了强大的潜在表示 (latent representations) 之外，我相信一个通用世界模型的输出还必须允许为许多不同的用例生成一个明确的、可观察的世界状态。特别是，它对“现在”的理解必须与它的“过去”相联系；即与导致当前状态的世界先前状态相联系。
2. 多模态 (Multimodal)：世界模型在设计上就是多模态的 正如动物和人类一样，世界模型应该能够处理多种形式的输入——在生成式AI领域中称为“提示”(prompts)。给定部分信息——无论是图像、视频、深度图、文本指令、手势还是动作——世界模型都应能预测或生成尽可能完整的世界状态。这要求它在处理具有真实视觉保真度的视觉输入的同时，也能同等便捷地解释语义指令。这使得智能体 (agent) 和人类都能通过多样化的输入与模型就世界进行交流，并反过来接收多样化的输出。
3. 交互性 (Interactive)：世界模型能够根据输入动作输出下一个状态 最后，如果动作和/或目标是世界模型提示的一部分，其输出必须包括世界的下一个状态，无论是隐式还是显式表示。当仅给定一个动作（无论是否带有目标状态）作为输入时，世界模型应产生一个与世界先前状态、预期的目标状态（如果有的话）及其语义含义、物理定律和动态行为相一致的输出。随着具有空间智能的世界模型在推理和生成能力方面变得更加强大和稳健，可以想象，在给定目标的情况下，世界模型本身不仅能预测世界的下一个状态，还能基于新状态预测下一步的动作。

这项挑战的范围超过了AI以前面临的任何挑战。语言是人类认知中一种纯粹的生成现象，而“世界”则遵循着复杂得多的规则。例如，在地球上，重力控制着运动，原子结构决定了光如何产生颜色和亮度，无数的物理定律约束着每一次互动。即使是最奇幻、最有创意的世界，也是由空间物体和智能体组成的，它们同样遵守定义它们的物理定律和动态行为。

要一致地协调所有这些——语义的、几何的、动态的和物理的——需要全新的方法。表示一个世界的维度要比表示像语言这样的“一维”序列信号复杂得多。

要实现世界模型，使其具备我们人类所享有的那种通用能力，将需要克服几个巨大的技术障碍。在 World Labs，我们的研究团队正致力于朝着这个目标取得根本性进展。

以下是我们当前研究课题的一些例子：

• 一种新的、通用的训练任务函数： 定义一个像LLM中“下一词元预测”(next-token prediction) 那样简单而优雅的通用任务函数，一直是世界模型研究的核心目标。其输入和输出空间的复杂性，使得这样一个函数在制定上 inherently 更加困难。但是，尽管还有很多有待探索的地方，这个目标函数和相应的表示必须反映几何和物理定律，尊重世界模型作为想象和现实的“接地气”表示的根本性质。
• 大规模训练数据： 训练世界模型需要比文本整理复杂得多的数据。好消息是：海量数据源已经存在。互联网规模的图像和视频集是丰富且易于获取的训练材料——挑战在于开发能够从这些二维图像或视频帧信号（即RGB）中提取更深层空间信息的算法。过去十年的研究表明，在语言模型中，数据量和模型大小之间存在着强大的“规模效应”(scaling laws)；世界模型的关键突破点在于构建能够以相当规模利用现有视觉数据的架构。此外，我不会低估高质量合成数据以及深度和触觉信息等附加模态的力量。它们在训练过程的关键步骤中补充了互联网规模的数据。但是，前进的道路依赖于更好的传感器系统、更强大的信号提取算法以及更强大的神经模拟方法。
• 新的模型架构和表示学习： 世界模型的研究将不可避免地推动模型架构和学习算法的进步，特别是超越当前的 MLLM 和视频扩散 (video diffusion) 范式。这两种范式通常将数据“词元化”(tokenize) 为一维或二维序列，这使得简单的空间任务变得异常困难——比如计算一个短视频中独特椅子的数量，或者记住一个小时前房间的样子。替代架构可能会有所帮助，例如用于词元化、上下文和记忆的 3D 或 4D 感知方法。例如，在 World Labs，我们最近关于一种名为 RTFM 的实时生成式帧模型 (real-time generative frame-based model) 的工作已经展示了这种转变，它使用基于空间接地的“帧”作为一种空间记忆，以实现高效的实时生成，同时保持所生成世界的一致性。

显然，在我们能够通过世界建模完全解锁空间智能之前，我们仍然面临着艰巨的挑战。这项研究不仅仅是理论演习，它是新型创意和生产力工具的核心引擎。World Labs 内部取得的进展令人鼓舞。我们最近向有限数量的用户分享了 Marble 的一瞥，这是有史以来第一个可以通过多模态输入提示来生成和维护一致 3D 环境的世界模型，供用户和故事讲述者在他们的创意工作流中探索、互动和进一步构建。我们正在努力使其尽快向公众开放！

Marble 只是我们创建真正具有空间智能的世界模型的第一步。随着进展加速，研究人员、工程师、用户和商界领袖们都开始认识到其非凡的潜力。下一代世界模型将使机器能够在全新层面上实现空间智能——这一成就将解锁当今AI系统仍普遍缺乏的关键能力。

使用世界模型为人类构建一个更美好的世界

是什么在激励AI的发展，这一点很重要。作为帮助开启现代AI时代的科学家之一，我的动机一直很明确：AI必须增强人类的能力，而不是取代它。多年来，我一直致力于使AI的开发、部署和治理与人类的需求保持一致。

如今，关于“技术乌托邦”和“末日启示录”的极端叙事比比皆是，但我仍然持有一种更务实的观点：AI是由人开发、由人使用、并由人治理的。它必须始终尊重人的能动性和尊严。它的魔力在于扩展我们的能力，使我们更有创造力、联系更紧密、更有效率、更感充实。

空间智能代表了这一愿景——AI赋能人类创造者、护理者、科学家和梦想家，去实现那些曾经不可能的事情。

正是这种信念，驱动着我致力于将空间智能作为AI的下一个伟大前沿。

空间智能的应用横跨不同的时间线。创意工具现在正在涌现——World Labs 的 Marble 已经将这些能力交到了创作者和故事讲述者的手中。随着我们不断完善感知与行动之间的循环，机器人技术代表了一个雄心勃勃的中期愿景。最具变革性的科学应用将需要更长时间，但有望对人类的繁荣产生深远影响。

在所有这些时间线上，有几个领域因其重塑人类能力的潜力而脱颖而出。这将需要巨大的集体努力，非单个团队或公司所能及。它将需要整个AI生态系统的参与——研究人员、创新者、企业家、公司，甚至政策制定者——共同努力实现一个共同的愿景。

但这个愿景值得追求。以下是未来图景：

创造力：为故事叙述和沉浸式体验提供强大动力

“创造力是智慧的乐趣。”这是我个人英雄阿尔伯特·爱因斯坦 (Albert Einstein) 的名言之一，也是我的最爱之一。早在书面语言出现之前，人类就在讲述故事——将它们画在洞穴墙壁上，代代相传，围绕着共同的叙事建立了整个文化。故事是我们理解世界、跨越时空建立联系、探索生而为人的意义的方式，最重要的是，它让我们在生活和爱中找到自我的意义。

今天，空间智能有潜力改变我们创造和体验叙事的方式，这种方式既尊重其根本的重要性，又将其影响从娱乐扩展到教育，从设计扩展到建筑。

• World Labs 的 Marble 平台将把前所未有的空间能力和编辑可控性交到电影制作人、游戏设计师、建筑师和各种故事讲述者的手中，使他们能够快速创建和迭代完全可探索的 3D 世界，而无需传统 3D 设计软件的开销。创意的“行为”本身仍然像以往一样至关重要且富有人性；AI工具只是放大和加速了创作者所能达到的成就。这包括：
• 新维度的叙事体验： 电影制作人和游戏设计师正在使用 Marble 来构建完整的世界，而不受预算或地理位置的限制，探索在传统制作流程中难以处理的各种场景和视角。随着不同形式的媒体和娱乐之间的界限日益模糊，我们正在接近一种全新的互动体验，它融合了艺术、模拟和游戏——在这个性化的世界里，任何人，而不仅仅是工作室，都可以创造和“居住”在自己的故事中。随着将概念和故事板提升为完整体验的更新、更快捷的方式的出现，叙事将不再局限于单一媒介，创作者可以自由地在无数的界面和平台上构建具有共同主线的世界。
• 通过设计实现空间叙事： 几乎每件制造品或建筑空间在其实际创造之前，都必须在虚拟 3D 中进行设计。这个过程迭代性强，且在时间和金钱上都成本高昂。有了空间智能模型，建筑师可以在投入数月进行设计之前快速可视化结构，漫步于尚不存在的空间——这本质上是在讲述关于我们未来可能如何生活、工作和聚集的故事。工业设计师和时尚设计师可以立即将想象转化为形式，探索物体如何与人体和空间互动。
• 全新的沉浸式和交互式体验： “体验”本身是我们人类创造意义的最深刻方式之一。在整个人类历史上，只存在一个 3D 世界：我们共同分享的这个物理世界。直到近几十年，通过游戏和早期的虚拟现实（VR），我们才开始瞥见分享我们自己创造的“替代世界”意味着什么。现在，空间智能与新形态的设备（如VR和扩展现实XR头显及沉浸式显示器）相结合，正以前所未有的方式提升这些体验。我们正在接近一个未来：步入完全实现的多维世界，将变得像打开一本书一样自然。空间智能使得“世界构建”不再是拥有专业制作团队的工作室的专利，而是面向个人创作者、教育者以及任何有愿景分享的人。

机器人技术：具身智能的实践

从昆虫到人类，动物们都依赖空间智能来理解、导航并与它们的世界互动。机器人也不例外。自该领域诞生以来，拥有空间感知能力的机器一直是该领域的梦想，这也包括我自己与我的学生和合作者在斯坦福研究实验室所做的工作。这也是为什么我如此兴奋，期待能使用 World Labs 正在构建的这类模型来实现它们。

• 通过世界模型扩展机器人学习： 机器人学习的进展取决于一个可扩展的、可行的训练数据解决方案。鉴于机器人必须学习去理解、推理、规划和互动的可能性状态空间极其巨大，许多人推测，需要结合互联网数据、综合模拟和真实世界的人类演示捕捉，才能真正创造出具有泛化能力的机器人。但与语言模型不同，当今机器人研究的训练数据非常稀缺。世界模型将在这方面发挥决定性作用。随着它们在感知保真度和计算效率上的提升，世界模型的输出可以迅速弥合模拟与现实之间的差距。这反过来将有助于在无数的状态、互动和环境模拟中训练机器人。
• 伴侣与合作者： 机器人作为人类的合作者，无论是在实验室辅助科学家，还是协助独居的长者，都可以在急需更多劳动力和生产力的领域扩展部分劳动力。但要做到这一点，需要空间智能能够感知、推理、规划和行动，同时——这一点最为重要——与人类的目标和行为保持共情的一致性。例如，实验室机器人可以处理仪器，以便科学家能专注于需要灵巧性或推理的任务，而家庭助理则可以帮助老年人做饭，同时不减少他们的乐趣或自主权。能够预测下一状态或甚至可能预测与此期望相符的动作的、真正具有空间智能的世界模型，对于实现这一目标至关* 重要。
• 扩展“具身”的形式： 人形机器人在我们为自己构建的世界中扮演着一定角色。但创新的全部益处将来自更多样化的设计：输送药物的纳米机器人、在狭小空间中穿梭的软体机器人，以及为深海或外太空而建造的机器。无论它们的形式如何，未来的空间智能模型都必须整合这些机器人所处的环境以及它们自身的“具身”感知和运动。但是，开发这些机器人的一个挑战是在这些多种多样的“具身”形态因素 (form factors) 中缺乏训练数据。世界模型将在为这些努力提供模拟数据、训练环境和基准测试任务方面发挥关键作用。

更长远的未来：科学、医疗和教育

除了创意和机器人应用，空间智能的深远影响还将扩展到那些AI可以增强人类能力、拯救生命并加速发现的领域。我在此重点介绍三个具有深度变革潜力的应用领域，但毋庸置 P; 疑，空间智能的用例在更多行业中都具有广阔前景。

• 在科学研究中，具有空间智能的系统可以模拟实验，并行测试假设，并探索人类无法进入的环境——从深海到遥远的行星。这项技术可以改变气候科学和材料研究等领域的计算建模。通过将多维模拟与真实世界的数据收集相结合，这些工具可以降低计算门槛，并扩展每个实验室所能观察和理解的范围。
• 在医疗保健领域，空间智能将重塑从实验室到床边的一切。在斯坦福，我的学生、合作者和我花费了多年时间与医院、老年护理机构以及在家的患者合作。这段经历使我确信空间智能在这里的变革潜力。AI可以通过多维度建模分子相互作用来加速药物发现，通过帮助放射科医生在医学影像中发现模式来增强诊断，并支持“环境监测系统”(ambient monitoring systems)，在不取代康复所需的人际联系的前提下为患者和护理人员提供支持，更不用说机器人在许多不同环境中帮助我们的医疗工作者和患者的潜力。
• 在教育领域，空间智能可以实现沉浸式学习，使抽象或复杂的概念变得具体可感，并创造出对我们大脑和身体学习方式至关重要的迭代式体验。在AI时代，更快、更有效地学习和重塑技能的需求，对学龄儿童和成年人来说都尤为重要。学生们可以探索细胞机制或“行走”于多维的历史事件中。教师们可以通过互动环境获得个性化教学的工具。从外科医生到工程师的专业人士，都可以在逼真的模拟中安全地练习复杂技能。

在所有这些领域，可能性是无限的，但目标始终如一：AI应增强人类的专业知识，加速人类的发现，并放大人类的关怀——而不是取代作为人类核心的判断力、创造力和同理心。

结论

在过去十年中，AI已成为一种全球现象，也是技术、经济乃至地缘政治的一个转折点。但作为一名研究者、教育者以及现在的创业者，最能激励我的，仍然是图灵75年前那个问题背后的精神。

我仍然分享着他的那种惊奇感。正是这种感觉，让我每天都对空间智能这一挑战充满活力。

历史上第一次，我们有望制造出与物理世界如此协调的机器，以至于我们可以依赖它们作为我们面临的最大挑战的真正伙伴。无论是在实验室加速我们对疾病的理解，彻底改变我们讲故事的方式，还是在我们因疾病、受伤或年老而处于最脆弱的时刻为我们提供支持，我们都正处于这样一种技术的风口浪尖：它能提升我们最为关心的那些生活方面。

这是一个关于更深刻、更丰富、更强大的人生的愿景。

在自然界于远古动物身上释放出第一缕空间智能的微光近五亿年后，我们有幸成为这一代技术专家中的一员，可能很快就会赋予机器同样的能力，并有幸利用这些能力为全人类造福。

我们对真正智能机器的梦想，没有空间智能是无法完成的。

这个探索是我的“北极星”。请加入我们。