JEPA (联合嵌入预测架构)
定义
JEPA（Joint Embedding Predictive Architecture，联合嵌入预测架构）是杨立昆提出的一种 AI 架构，也是 AMI Labs 的核心技术。与传统的生成式模型不同，JEPA 不在像素或文字空间进行预测，而是在"抽象表示空间"进行预测。
工作原理
JEPA 的核心思想是构建一个内部模拟器，使 AI 能够在抽象表示空间中预测世界的状态变化。其数学表达为：
$$S_{t+1} = f(S_t, a_t)$$
其中 $S$ 是世界的状态，$a$ 是智能体的动作。
与生成式模型的区别
- 生成式模型：在像素或文字空间进行预测，如 GPT 的"预测下一个词"。
- JEPA：在抽象表示空间进行预测，关注的是世界状态的变化而非具体的像素或文字。
优势
- 更高效：在抽象空间进行预测，计算成本更低。
- 更鲁棒：不受具体像素或文字变化的影响。
- 更智能：能够进行因果推理和内部模拟。
挑战
- 如何定义和构建合适的"抽象表示空间"？
- 如何在规模化训练中保持 JEPA 的优势？
- 如何与现有的 LLM 生态进行整合或竞争？