神经网络丛林 (Neural Thickets)

神经网络丛林（Neural Thickets）是由MIT CSAIL发布的一项理论发现。研究者发现，预训练权重的空间其实像一个"丛林"，其中隐藏着无数未经激活的"任务专家"。

核心发现

• 隐藏专家：预训练权重空间中隐藏着大量未激活的"任务专家"。
• 随机扰动激活：通过简单的随机扰动（RandOpt），即使不进行微调，也能在特定任务中激发出超越SOTA的表现。
• 理论支撑：为2026年的模型编辑（Model Editing）和低功耗推理提供了全新的数学理论支撑。

行业意义

神经网络丛林理论挑战了传统微调范式，为更高效的模型利用提供了新思路，可能改变AI模型的部署和使用方式。