每参数智能

每参数智能

每参数智能

每参数智能(Intelligence per Parameter)是指通过架构创新而非单纯增加参数数量来提升模型性能的理念。Gemma 4是这一理念的典型代表:它通过高效MoE、PLE、RoPE优化等技术,实现了"智能密度"突破,使得小模型在多个基准测试上打败了参数量大20倍的模型。例如,31B模型在AIME 2026数学基准上达89.2%,远超前代Gemma 3的20.8%。这一概念强调模型效率而非规模,是DeepMind的核心技术哲学。

分享到