迎来多模态世界模型新时代？

作者｜连冉

编辑｜郑玄

10 月 30 日，智源研究院正式发布了「悟界 EMU3.5」多模态世界大模型。

在当前大语言模型（LLM）的文本能力逐渐触顶、行业普遍寻求新突破口的背景下，多模态被视为人工智能的下一个重要方向。

然而，如何有效融合文本、图像、视频等不同模态的数据，一直是业界面临的难题。

长期以来，多模态领域存在两种不同的技术路径：一种是 DiT（Diffusion Transformer）架构，在文生图、文生视频等生成任务上表现出色；另一种则是以智源 Emu 系列为代表的「原生多模态」架构，尝试从一开始就用统一的模型处理一切。

智源研究院院长王仲远在发布会上表示，EMU3.5 的发布，标志着人工智能从「语言学习」向「多模态世界学习」演进的新纪元，并率先指明了多模态 Scaling（规模化）的新范式。

从一年前验证技术路线的 Emu3，到今天宣称「开启新纪元」的 EMU3.5，智源究竟解决了什么关键问题？这背后又体现了怎样的技术思路？

01

补齐核心短板：

从「统一」到「高效」

多模态 AI 的核心挑战之一，是如何建立一个「大一统」的模型。

行业中常见的做法，是将不同功能的模型（如一个理解模型、一个生成模型）拼接起来。但这会带来融合的挑战，不同架构间的「语言」并不相通。

智源从 Emu3 开始，就选择了一条更彻底、也更难的「原生多模态」路线：使用统一的自回归架构。

智源研究院

自回归架构是目前大语言模型的基石，其范式是「Next-Token Prediction」。智源将其推广到了多模态领域，无论是文本、图像还是视频，都被打散成 Token，由模型统一预测。这样做的好处是理论上极其简洁优雅，实现了「图像、文本、视频的大一统」。

但这个选择在过去一年里也面临着一个致命的「原罪」：推理效率太低。

当模型生成图像时，需要一个 Token 一个 Token 地「吐」出来，这个过程就像「像素点打印」，相较于 Diffusion 等模型并行的生成方式，速度慢了几个数量级。

一个无法高效运行的模型，其「统一」的理论优势就很难在实践中落地。因此，效率问题，是 EMU3.5 必须攻克的第一座大山。MU3.5 团队提出了一项名为「DiDA（Discrete Diffusion Adaptation，DiDA），离散扩散自适应）」的创新技术，作为这个难题的解方。

DiDA 是一种高效的混合推理预测方法，它允许自回归模型在推理时，可以并行地预测和生成大规模的 Token。这从根本上改变了「一个点一个点画」的低效模式。

带来的提升是显著的：在不牺牲性能的前提下，每张图片的推理速度提升了近 20 倍。王仲远谈到，这使得 EMU3.5 的自回归架构，「首次使自回归模型的生成效率媲美顶尖的闭源扩散模型」。

这个工程上的关键突破，补齐了原生多模态路线的核心短板。它证明了这条路不仅在理论上可行，在实践中也具备了「可用性」和「可竞争性」。

解决了效率枷锁后，通往「规模化」的道路才真正被打开。

02

开启「第三范式」：

当多模态遇上 Scaling Law

在人工智能领域，「Scaling Law」（规模定律）是过去几年最重要的发现之一。它指的是，只要持续增加模型参数、训练数据和算力投入，模型的性能就会相应地可预期地提升。大模型的成功，就是建立在这一「力大砖飞」的信仰之上。

但在多模态领域，这条路一直不甚明朗。由于技术路线不统一，行业并不确定多模态模型是否存在清晰的 Scaling Law。

EMU3.5 通过 DiDA 技术解决了效率问题后，智源迅速开始了规模化的验证。从 Emu3 到 EMU3.5 的变化清晰地体现了这一点：

模型参数： 从 8B（80 亿）跃升至 34B（340 亿），提升超过 4 倍；训练数据： 累计的视频数据训练时长，从 15 年猛增到 790 年，跃升超过 50 倍；性能也随之获得了显著提升。

基于这一实践，王仲远在发布会上提出了一个大胆的判断：EMU3.5 开启了继「语言预训练」和「后训练及推理」之后的「第三个 Scaling 范式」。

为什么称其为「新范式」？智源给出了三个理由：

架构的统一性： EMU 的自回归架构能够大一统地处理各种模态的数据，为规模化提供了简洁的基础。

设施的可复用性： 这一架构可以「大规模复用已有的计算基础设施」。这意味着，所有为训练 LLM 而构建的昂贵智算集群，几乎都可以无缝迁移过来训练 EMU 模型，极大降低了 Scaling 的门槛。

强化学习的引入： EMU3.5 首次在多模态领域实现了大规模强化学习（RL）。强化学习（尤其是 RLHF）是激发 LLM 高级能力、使其「听话」的关键步骤。如今，智源将这套在语言上被验证过的成熟方案，成功地应用到了更复杂的多模态模型上。

「Scaling 范式」的意义在于「可预期」。而 EMU3.5 的潜力才刚刚开始释放。王仲远在现场提到，目前 34B 的参数规模，相比 LLM 动辄万亿的规模还很小；而 790 年的视频数据量，「只占全互联网公开视频数据不到 1%」。

这意味着，无论是在模型参数还是在数据维度上，这条路都还有着巨大的提升空间。只要沿着这条路继续「力大砖飞」，模型能力的上限远未到来。

03

学习世界规则：

从「预测 Token」到「预测状态」

如果说，解决效率问题和开启规模化，回答了「怎么做」的问题，那么 EMU3.5 的另一大转变，则是在回答「学什么」的问题。

智源团队在发布会上反复强调「第一性原理」。王仲远举了一个观察两岁小女孩的例子：她通过刷短视频，观察视频里的人如何吃糖葫芦，然后在现实世界中模仿、尝试、失败、再尝试，最终自己学会了串糖葫芦。

他强调人类的学习，不是从文本开始的，而是从对这个世界、对物理规律的视觉观察开始的。

这也是 EMU3.5 试图模拟的核心理念：AI 不应只学习「语言」，更应学习「世界」。

为此，EMU3.5 提出了一个核心范式的升级：从 Emu3 的「Next-Token Prediction」），升级为「Next-State Prediction (NSP)」。

这个转变意味着模型的目标，不再是机械地「续写」数据（比如预测下一个像素或下一个词），而是要理解事物背后的因果和规律，预测世界在逻辑上的「下一个状态」。

基于此，智源也对「世界模型」这一概念提出了自己的定义。王仲远在采访中直言，不完全赞同「世界模型就是视频生成」的观点。他认为，世界模型的核心，是「对于整个世界因果关系、时空、物理建模的能力」。

他用一个「桌边的咖啡」的例子来说明：

一个「视频生成模型」，也许能预测出「杯子掉落、咖啡洒一地」的逼真画面。

但一个「世界模型」，首先应该理解「这个杯子放得很危险（状态）」，并预测「它很可能会掉落（状态变化）」。

更进一步，当接收到「拿起这杯咖啡」的指令时，这个模型会基于对物理常识（纸杯的力度、重心的位置）的理解，来规划「下一步的行动」。

EMU3.5 展现出的许多能力，都在印证这种从「理解」到「行动」的进化：

Emu3.5 能以精准可控的方式完成文图生成｜智源研究院

展现出基于视觉理解的图像生成能力智源研究院

Emu3.5 的多模态指导能力：输入「如何做芹菜饺子」，模型输出有步骤的图文指导智源研究院

意图规划： 当用户输入「如何做芹菜饺子」时，模型输出的不是零散的图片，而是一套图文并茂、步骤清晰的「行动指南」。

动态模拟与推理： 在一个示例中，模型需要根据图案规律，在「？」处填上合适的颜色。这要求模型必须先「理解」图案的排布规则（一种逻辑状态），才能「生成」正确的红色方块（下一个状态）。

时空理解： 模型可以将一张建筑的正面图，根据指令转换为「俯视图」。这背后是模型对物体三维空间关系的建模。

这种「预测下一个状态」的能力，最终指向了人工智能的终极应用之一：具身智能（机器人）。

具身智能行业目前面临数据匮乏的瓶颈。而 EMU3.5 这样的世界模型，可以通过对物理世界的理解和模拟，为机器人生成海量、高质量、且多样化的「仿真训练数据」。例如，在「叠衣服」的演示中，模型自主规划并生成了机器人完成复杂折叠动作的完整序列。

只需一句「叠衣服」的简单指令，Emu3.5 便能自主规划、拆解任务，并精确生成机器人完成一整套复杂的折叠动作｜智源研究院

王鑫龙博士则在交流中提到，利用 EMU3.5 的世界模型能力，机器人在「没见过的场景」中执行任务，成功率可以「直接（从 0%）到 70%」。这表明，EMU3.5 正在扮演的，是具身智能「大脑」的角色，即提供理解、规划和泛化的核心智能。

EMU3.5 的发布，首先通过 DiDA 技术，解决了原生多模态自回归架构最致命的「效率」短板。以此为基础，它得以开启「多模态 Scaling」的进程，通过堆叠数据和参数来提升能力，并验证了「第三种 Scaling 范式」的可能性。

而这种规模化的最终目标，是实现一个更宏大的愿景：从「预测 Token」转向「预测状态」，让 AI 真正学习这个世界的物理规律和因果关系，为最终实现能够理解并与物理世界交互的通用人工智能，提供了一条坚实的路径。

目前智源已将技术细节在技术报告里披露，并计划在未来开源模型，或许在多模态世界模型这条新赛道上，一个来自中国的「新范式」已经登场。

*头图智源研究院

本文为极客公园原创文章，转载请联系极客君微信 geekparkGO

极客一问

你如何看待 EMU3.5？

一年狂赚 3260 亿！雷军成财富「增长王」胡润调侃捡钱都亏

点赞关注极客公园视频号，