GPT-5.6补上凸优化30年缺口:论文、对话与Lean验证全部公开

摘要:加州大学伯克利分校研究者Phillip Kerger公布了一项无导数凸优化研究,将确定性精确函数值模型的查询复杂度下界从Ω(d)提高到Ω(d²/log d),与1996年提出的近二次上界只差对数因子。

7月14日,加州大学伯克利分校工业工程与运筹学研究者 Phillip Kerger 在 arXiv 提交论文《Closing the Oracle-Complexity Gap in Derivative-Free Convex Optimization》。

论文研究一个延续了 30 年的理论问题:当优化算法只能查询函数值、无法获得梯度时,最坏情况下需要查询多少次,才能找到足够接近最优解的点?

论文给出的答案接近维度的平方。此前已知下界只有线性规模,已知上界则接近二次规模,两者之间存在一个多项式缺口。

这次证明将下界提高到:

Ω(d² / log(d+1))

结合已有上界,可以把该问题的维度依赖确定为:

Õ(d²)

其中波浪号表示忽略若干对数因子。

论文作者在正文中明确说明,GPT-5.6 Sol Pro 承担了主要数学推导工作。作者将模型生成的结果整理为论文,检查每个论证,并对文稿中的全部陈述负责。

30年的缺口是什么

凸优化研究如何在一个凸区域内找到凸函数的最小值。许多工程设计、参数优化、资源调度和机器学习问题都可以写成这种形式。

如果算法能够获得梯度,它可以知道函数在当前位置下降最快的方向。但在物理实验、复杂仿真、黑箱设备和部分工业优化中,一次计算只能返回一个结果值。

例如,给出一组设计参数,仿真软件返回能耗;调整一组工艺参数,生产试验返回质量指标;修改一个控制方案,系统返回运行成本。算法看到了结果,却没有获得各个参数对应的梯度。

这类方法称为无导数优化或零阶优化。

论文考虑的是一个较为纯粹的理论模型:

  • 优化对象是定义在 d 维单位球上的凸函数;
  • 函数满足 1-Lipschitz 条件,数值变化不会无限剧烈;
  • 算法每次可以选择一个点,并获得该点的精确函数值;
  • 算法没有梯度、次梯度和分离超平面;
  • 算法可以使用无限计算时间和内存;
  • 算法采用确定性策略,不使用随机采样。

在这个模型中,查询次数代表函数评估次数。一次物理实验、一次复杂仿真或一次黑箱计算都可以理解为一次查询。

1996年,俄罗斯数学家 Vladimir Protasov 给出了一种算法,其查询次数上界约为:

O(d² log² d)

但此前能够证明的通用下界只有:

Ω(d)

假设问题有 1000 个维度,线性下界与二次上界之间可以相差几个数量级。理论上一直无法判断二次规模的函数评估是否必要。

新证明说明了什么

Kerger 的论文构造了一组特殊的凸函数,并设计了一个“抵抗性预言机”。

预言机可以理解为回答算法查询的黑箱。算法每选择一个点,黑箱返回该点的函数值。抵抗性预言机在回答的同时,保留尽可能多的候选函数。

证明过程利用了一个关键结构:即使算法已经查询了很多点,仍然可能存在两个不同的凸函数,它们对此前所有查询给出完全相同的答案,但两者的最优点相距较远。

确定性算法看到相同的查询记录,只能采取相同的后续步骤,并输出相同结果。这个结果无法同时接近两个函数的最优点,因此至少会在其中一个函数上失败。

论文通过凸几何、体积估计、平均宽度和 Urysohn 不等式等工具证明,在查询次数少于约 d²/log(d+1) 时,预言机仍然能够保留这样的两个函数。

由此得到近二次下界。

这个结论表明,在论文规定的最坏情况模型中,即使每次查询都返回精确实数,算法拥有无限计算能力和无限内存,缺少梯度信息仍然会产生接近二次规模的查询成本。

论文还把结果推广到混合整数凸优化。对于包含 d 个连续变量和 n 个离散变量的问题,函数值查询下界达到:

Ω~(d² 2^n)

这项扩展与组合优化、工业排产和混合决策问题存在一定联系。

GPT-5.6如何完成证明

论文附录公开了研究过程、提示词和两次完整对话。

第一次任务交给 GPT-5.6 Sol Pro 后,模型连续处理了 148 分钟,给出一个近二次查询下界证明。这个版本适用于精度约为 d^-3 的条件。

作者随后要求模型提高精度,使结果能够与 1996 年的上界在相同条件下比较。第二次推导耗时 230 分钟,将精度提高到论文采用的 d^-1/2 量级。

因此,“一个提示解决30年难题”的说法容易造成误解。

从模型接口看,初始证明来自一次长时间运行;从研究方法看,作者提交的是一份详细的数学研究任务书。提示中包含:

  • 完整的问题定义和查询模型;
  • 已知上界、下界和文献检查点;
  • 可以接受的结论形式;
  • 明确排除的错误路线;
  • 对精度、维度和查询次数的审计要求;
  • 多种建议探索的数学方法;
  • 对最多 64 个并行代理的调度要求;
  • 独立验证、反例搜索和失败记录机制。

提示还要求各个代理提交具体引理、证明、算法、反例或参数计算,不接受泛泛的研究建议。

模型需要维持多条相互独立的证明路线,记录每条路线缺少的关键引理。当候选证明出现后,再安排代理分别检查精度、量词顺序、查询模型、隐含假设和指数计算。

这套方法更接近一个由模型调度的数学研究组。

承担任务的是 GPT-5.6 Sol Pro。提示使用了多代理研究工作流,但没有采用 Sol Ultra 产品模式。论文公开了原始提示和对话,其他研究者可以检查模型提出了哪些思路,以及作者对哪些部分进行了修改。

Lean验证覆盖了哪些内容

仅靠语言模型生成数学文本,很难排除遗漏条件、错误引用和看似合理的推导跳步。

作者使用 Lean 4 和 mathlib 对主要下界进行了形式化验证。Lean 要求把定义、定理和推理步骤转换为机器能够检查的形式,每一步都必须满足类型系统和逻辑内核的要求。

配套 GitHub 仓库目前包含两个验证版本:

  • 初始的 d^-3 精度下界;
  • 论文使用的 d^-1/2 精度下界。

仓库说明显示,后一个版本已经形式化覆盖论文中的球面平均、Brunn-Minkowski 不等式、内在 Urysohn 不等式以及抵抗性预言机构造。代码没有使用项目自定义公理,也没有在生产证明中保留 sorry 或 admit 形式的证明占位。

形式化范围存在明确边界。Lean 仓库验证了论文的确定性近二次下界,没有验证 Protasov 的既有上界、由上下界合并得到的双侧复杂度结论,也没有覆盖混合整数推广。

Lean 能够检查“形式化后的定理是否由给定公理和定义推出”,无法判断问题选择是否重要、相关文献是否遗漏,也不能替代数学界的同行评审。

目前论文仍是 arXiv 预印本。

这项成果与一般数学问答有什么区别

大模型过去已经能够解答竞赛题、补全证明和调用计算工具。这类任务通常具备已知答案,模型需要恢复一条已有解法。

Kerger 研究的问题没有现成标准答案。模型需要提出新的困难实例、设计抵抗性预言机、组合凸几何工具,并把线性下界提高到近二次下界。

论文作者也没有把 GPT-5.6 描述为写作助手或证明润色工具。他认为主要数学解法由模型给出,自己的工作集中在任务设计、结果检查、精度改进、文稿整理和责任承担。

公开对话、论文原文和 Lean 代码形成了三层记录:

  • 对话记录展示模型如何找到证明;
  • 论文将证明整理成人类数学语言;
  • Lean 检查形式化后的推理链条。

这种发布方式为 AI 参与数学研究提供了较完整的核验材料。

结论仍然有严格边界

论文处理的是确定性、精确函数值、非光滑凸优化的最坏情况查询复杂度。结果不能直接推广到所有优化任务。

它没有证明以下结论:

  • 所有实际凸优化问题都需要 次计算;
  • 随机算法也具有相同下界;
  • 平滑或强凸函数具有相同复杂度;
  • 含噪声的实际实验可以直接套用该结论;
  • GPT-5.6 已经能够独立完成任意数学研究。

论文仍留下若干问题。上下界之间还存在对数因子;随机查询模型尚未解决;加入平滑性或强凸性后的复杂度也需要继续研究。

这项工作的价值集中在两个方面。

其一,一个延续自 1996 年的复杂度缺口获得了近乎完整的答案。其二,模型参与过程、原始对话和形式化证明同时公开,使研究者能够逐层检查 AI 在成果中承担的具体工作。

AI 参与数学研究已经具备一条可复查的工作链:研究者定义问题和验收标准,模型进行长时间并行探索,人类承担审查与署名责任,证明助手完成形式化核验。

参考资料

分享到