规模定律(Scaling Laws)

规模定律(Scaling Laws)

规模定律(Scaling Laws)

描述模型能力随算力、数据、参数规模增加而可预测提升的规律。Morgan Stanley在2026年3月报告中基于此定律预测:10倍算力投入将带来约2倍智能提升。

核心原理

  • 模型性能与算力、数据、参数规模之间存在可预测的幂律关系
  • 投入更多算力训练更大模型,能力会持续提升
  • 已被多个顶级AI实验室的实验验证

在报告中的应用

  • 五大模型开发者将下一代模型训练算力提升约10倍
  • 根据scaling laws,这将使模型智能提升约2倍
  • 这是报告预测"颠覆性飞跃"的理论基础

争议与局限性

  • 是否会在达到某个临界点后失效(“撞墙”)?
  • 如果scaling laws失效,整个预测的基础将被动摇
  • 需要持续关注scaling laws的边界条件
分享到