在人工智能的发展历程中，我们正处于一个关键的转折点。过去几年，大语言模型（LLM）的巨大成功让我们产生了一种错觉：似乎只要用足够多的文本进行"预测下一个词"（Next-token prediction）的训练，就能通向通用人工智能（AGI）。然而，文本本质上只是物理现实的一种高度压缩和有损表达。正如有些评论家所言：“仅靠文本训练的模型，就像是被困在柏拉图洞穴里的囚徒，它们精通于描述墙壁上的影子，却从未真正见过投射影子的实体。”
为了打破这种"语言中心主义"的桎梏，来自 Meta FAIR 和纽约大学 Courant 研究所的 Shengbang Tong、Saining Xie、Yann LeCun 等 20 位顶尖研究者，于 2026 年 3 月联合发布了一篇极具里程碑意义的论文——《Beyond Language Modeling: An Exploration of Multimodal Pretraining》（arXiv: 2603.03276）。
这篇论文没有选择在现有的成熟语言模型上"打补丁"，而是极其硬核地进行了从零开始（From-scratch）的受控原生多模态预训练实验。通过严格的剥离与对比，研究团队为我们揭示了构建下一代真正统合视觉与语言的基础模型（Foundation Models）的底层设计法则。
本文将为您纯粹且深入地拆解这篇论文的核心技术框架及其带来的四大颠覆性洞见。
一、破局的起点：抛弃历史包袱，拥抱 Transfusion 架构
当前业界主流的视觉-语言模型（VLMs）大多采用非对称的训练范式：先冻结一个庞大的纯文本语言模型，然后通过交叉注意力（Cross-Attention）或简单的投影层，将视觉特征强行"塞入"文本的语义空间中。这种做法虽然工程上见效快，但在底层逻辑上将视觉降级成了"二等公民"，且继承了纯语言预训练带来的干扰。
为了探究多模态预训练的真正规律，LeCun 团队采用了 Transfusion 框架。这是一种能够让离散文本和连续视觉信号在同一个 Transformer 序列中平起平坐的优雅架构。
在 Transfusion 框架下，模型对不同的模态采用了最适合其特性的损失函数，但在同一个底层 Transformer 网络中进行联合优化：
- 对于语言（Language）： 依然采用离散的自回归"下一个 Token 预测"（Next-token Prediction）。
- 对于视觉（Vision）： 抛弃了强行将图像离散化为 Token 的做法，转而采用针对连续表征的扩散模型/流匹配（Flow Matching）。
其联合优化的核心目标可以抽象为两种损失函数的叠加：
这种架构确保了实验不受先前语言模型偏差的影响，使得研究团队能够在文本、图像-文本对、视频甚至带有动作条件约束的视频（Action-conditioned video）等海量混合数据上，纯粹地观察模态之间的化学反应。
二、论文揭示的四大核心技术洞见
通过详尽的受控实验与 IsoFLOP（同等算力消耗）分析，论文得出了四个对未来模型架构设计具有决定性指导意义的结论。
洞见 1：视觉表征的最优解——RAE（表征自编码器）取代 VAE
长期以来，计算机视觉领域存在一个根深蒂固的假设：理解任务和生成任务需要完全不同的视觉表征。
- 做图像生成时，大家习惯使用 VAE（变分自编码器）或 VQ-VAE，将图像压缩到隐空间中以便重建。
- 做图像理解时，大家则倾向于使用 CLIP 或 SigLIP 等语义编码器（Semantic Encoders）。
这种"双轨制"导致多模态模型内部极度臃肿。然而，这篇论文通过严格的消融实验证明：基于连续隐空间的表征自编码器（Representation Autoencoder, RAE），尤其是基于 SigLIP 2 提取的特征，能够提供最优的统一视觉表征。
RAE 能够在保持极高语义理解能力的同时，完美胜任图像和视频的生成任务。它不仅消除了对双编码器的需求，还在文本困惑度（Perplexity）和图像生成质量上全面超越了传统的 SD-VAE 基线。这意味着，未来的多模态基座只需要"一双眼睛"，就能同时完成"看懂世界"和"想象世界"的任务。
洞见 2：打破"模态竞争"神话，验证数据协同效应（Data Synergy）
在早期的多模态研究中，存在一种担忧：由于模型容量有限，引入大量的视觉数据会不会"冲淡"模型的语言能力？这种现象被称为"模态惩罚（Modality Penalty）"。
LeCun 团队的研究彻底粉碎了这一担忧。他们发现，视觉数据和语言数据在本质上是高度互补的。
- 文本反哺视觉： 高质量的语言数据增强了模型对视觉元素的逻辑关系理解，尤其是在文本到图像（Text-to-Image）的生成对齐任务中，语言能力的提升直接带来了生成画面与 Prompt 之间更高的一致性。
- 视觉反哺文本： 图像与视频数据的注入，让语言获得了物理世界的"接地（Grounding）"锚点，显著提升了模型在常识推理和视觉问答（VQA）任务上的表现。
简而言之，1+1 在这里绝对大于 2。泛化的通用训练数据（涵盖文本、视频、图文对）比狭隘的特定领域数据更能激发模型的综合潜力。
洞见 3：世界模型（World Modeling）的自发涌现
这是整篇论文中最具科幻色彩，也是最令人振奋的发现。
Yann LeCun 一直是"世界模型"的坚定倡导者，他认为智能体必须能够预测物理环境在受到特定动作干预后将如何变化。论文展示了，模型在完全没有经过大量特定领域微调的情况下，仅仅通过对通用视频数据的大规模无监督预训练，就自发涌现出了世界模型的能力。
当研究人员向模型输入少量的"动作条件视频"（Action-conditioned video，即带有操作指令标签的视频）进行对齐后，模型展现出了惊人的物理直觉：给定当前的视觉状态 s_t 和一个自由形式的自然语言动作指令 a_t，模型能够准确地生成（预测）下一步的视觉状态 s_{t+1}：
实验证明，模型绝大多数关于"世界如何运转"的知识，并非来源于那些昂贵的带动作标签的专门数据，而是从海量的普通视频中"看"会的。它学会了物体不会凭空消失、重力会导致下落等隐式物理规律。
洞见 4：揭示缩放非对称性，MoE 成为架构必然之选
在探讨大模型的 Scaling Laws（缩放定律）时，研究团队通过严谨的 IsoFLOP 曲线计算，发现了一个致命的缩放非对称性（Scaling Asymmetry）：
视觉模态是"数据饥饿型"（Data-hungry）的，而语言模态是"参数饥饿型"（Parameter-hungry）的。
如果你使用一个传统的稠密（Dense）Transformer 架构，就会陷入两难：
- 为了满足语言模态对复杂逻辑的推理需求，你需要极大地增加模型参数量。
- 但当你把模型做得极大时，去处理那些需要极高通量、海量 Token 的视觉数据（视频的一帧就有成千上万个视觉 Patch），算力成本将变得完全无法承受。
为了调和这一矛盾，论文提出 混合专家架构（Mixture-of-Experts, MoE） 是多模态原生的自然解法。
| 架构策略 | 面对语言 Token | 面对视觉 Token | 结果 |
|---|---|---|---|
| 稠密 FFN | 参数可能不足 | 计算过度冗余 | 算力与性能无法兼顾 |
| MoE 架构 | 激活部分擅长逻辑的专家，利用大参数容量 | 快速路由至擅长特征提取的专家，保持高吞吐 | 完美解耦，实现统一的高效扩展 |
通过 MoE，模型能够在无需成倍增加推理算力的前提下，为语言保留巨大的参数容量库，同时轻装上阵地处理密集的视觉数据流。MoE 网络在训练中甚至会自发地让某些专家（Experts）专门负责视觉，某些专门负责语言，实现了优雅的模态特化与协作。
三、结语：通向下一代基础模型的蓝图
《Beyond Language Modeling》这篇论文，不仅是对当前大模型技术栈的一次系统性反思，更是为未来几年的 AI 架构设计指明了道路。
LeCun 团队用扎实的实验告诉整个业界：不要再迷信纯文本的无限 Scaling。真正的智能必须扎根于多模态的泥土之中。通过采用 Transfusion 框架融合离散与连续信号、确立 RAE 作为统一视觉表征、利用海量泛化数据激发世界模型、并通过 MoE 架构解决模态间的资源冲突，我们终于拥有了一张清晰的、构建能真正"看见"并"理解"物理世界的统一多模态大模型的工程蓝图。
当我们跨越了"语言建模"的边界，AI 才算真正走出了柏拉图的洞穴。
原文下载
📄 Beyond Language Modeling: An Exploration of Multimodal Pretraining (PDF)