GPT-6-Astra 攻克 98% 物理科研基准：零提示解决常规计算难题，单题成本低于 3 美元

团队测试了市面上现成的 AI 智能体，并未提供任何人类提示。在 OpenAI 的 Codex 编程环境中运行的 GPT-6-Astra 表现最佳。它在 50 个问题中正确回答了 49 个，准确率达 98%，平均每个问题的成本低于 3 美元，整个基准测试的总成本略低于 116 美元。

该基准测试旨在评估常规研究工作，而非重大挑战

该数据集刻意避开了主要的开放性问题，而是聚焦于作者所称的“机械式”（turn-the-crank）问题，即研究人员将已知方法应用于略微修改后的问题。贡献者通常会对他们自己近期论文中的计算稍作数值调整，以确保新结果无法从旧结果中直接推断出来。据研究人员介绍，这类问题常被作为入门任务交给博士生，作为其科研工作的第一步。

一个来自黑洞研究的例子展示了这些问题依然具有相当的难度。解决该问题意味着需要找到一篇较早的论文，将其方程从五维时空迁移到四维时空，然后使用自定义程序计算结果。协调人、早期论文合著者 Suvrat Raju 花费了大约一天时间才完成。作者估计，在现代智能体出现之前，只有少数专家同时具备所需的物理知识和相关计算方法经验。即便是这些专家，也需要数天时间才能解决。

这些问题涵盖了理论物理学的十一个子领域，从流体流动和生物过程到粒子物理和宇宙学。每个智能体都进行了两次测试：一次是在包含网络搜索的现实条件下运行，另一次是在无互联网访问的隔离环境下运行。

在 Claude Code 环境中运行的 Anthropic Opus 5.5 以 92% 的准确率位居第二。Google 的 Gemini 3.8 Flash 得分为 68%，而开源权重模型 DeepSeek-V4.1-Flash 和 GLM 5.3 分别达到 54% 和 42%。较弱的模型有时会犯下专家能立即察觉的错误。在黑洞问题上，Gemini 和 GLM 在进行网络搜索的那次测试中，原封不动地复制了早期论文中的公式。然而，那些公式适用于五维空间，而非题目要求的四维空间。

互联网访问带来的差异出人意料地小。在没有网络搜索的情况下，Astra 和 Opus 均获得了 92% 的分数。许多问题依赖于研究论文中的公式，而这些公式通常并未提供给模型。作者将此视为一种迹象，表明领先的大语言模型已经有效地记忆了理论物理学文献的大部分核心内容。

借助网络搜索，Astra 解决了除一个难题之外的所有问题——该难题曾让所有模型陷入困境。题目要求找出能生成给定曲线的方程。专家给出的解法依赖于特殊的数学形式，这些形式只有在更广义的范畴内才能被视为所需的微分方程。作者承认这个问题可能显得“不公平”，但他们认为这很现实，因为研究人员经常需要从非精确数据中推断出底层的物理机制。

多个 AI 失误实为参考答案中的缺陷

对于若干问题，后续与专家的沟通发现其参考解答中存在细微且难以察觉的错误。一旦修正这些错误，Astra 的答案便始终正确。

这一模式也能解释一个看似矛盾的现象：智能体在 TheoPhysEval 上的表现优于在某些其他物理基准测试（如 CritPt）上的表现，尽管作者认为他们自己的问题平均难度更高。一项近期研究发现，部分理论物理基准测试的评分存在错误，且在某些情况下严重低估了模型的能力。

任何希望验证结果的人都可以从 Hugging Face 下载问题和测试设置作为数据集。

为何强大的计算能力尚未带来物理学突破

作者写道，目前一些最强大的模型可能在具体计算方面已经超越了顶尖的人类研究人员，即便是在专业领域也是如此。他们将此视为一个重要里程碑。

他们指出，这种影响在数学领域更为显著，AI 智能体已经解决了一些重要的开放性问题。据 OpenAI 称，这包括描述流体流动的方程相关的 Navier-Stokes 问题，这是著名的千禧年大奖难题之一。然而，理论物理学界尚未出现类似的突破性进展。

作者解释说，具有可验证结果的具体计算仅出现在研究过程的末端。在此之前，必须有人构建理论并提出“正确”的问题。当一个问题被证明过于困难时，优秀的研究人员会转向一个相关但更简单且同样有趣的问题。当前的智能体并不擅长这一点。

物理学家们对于什么样的问题才算有趣，虽然远未达成共识，但大体上有一种共同的判断标准。而 AI 智能体似乎尚未具备这种“品味”。当被要求设计新问题时，它们往往会陷入人类觉得枯燥乏味的细节之中。

研究人员强调，这些观察结果无法量化，也不是对 AI 未来走向的预测。他们认为 AI 智能体在不久的将来或许能独立完成顶尖水平的研究，但这需要的不仅仅是解决问题的能力。

AI 已经在改变物理学家的培养方式以及谁能参与竞争

作者们已经看到了其对人才培养的影响。直到最近，其中一些基准测试问题还适合作为早期职业研究人员的第一个研究项目。除非目标仅仅是为了熟悉材料，否则这种做法已不再合适。

他们还指出了一个结构性问题：历史上，理论物理所需的资金远低于实验研究，这使得该领域的机会相对平等。强大的 AI 智能体可能会改变这一现状。目前的基准测试问题解决起来仍然很便宜，Astra 的完整运行成本约为 116 美元。然而，对于更难的问题，作者预计资源需求将急剧上升。届时，即使在理论物理领域，研究团队的预算也可能对其能取得的成果拥有更大的话语权。作者表示，这引发了关于该领域准入机会和平等性的问题。

数学界已经在进行类似的辩论，例如围绕 莱顿宣言 的讨论。作者认为，在 AI 颠覆物理学之前，理论物理界也应该展开这样的讨论。目前，物理学中至少有一个学派主张研究人员应“闭嘴计算”（shut up and calculate）。如果品味和愿景开始变得更加重要，物理学家们可能需要转而“停下来思考”。