给 AI 出的科学考卷——考卷难到什么程度才算数

这是「AI 正在攻克的数学问题」系列的第 9 篇。前几篇讲的都是 AI 解出了哪道难题，这一篇换个镜头，看人怎么给 AI 出考卷，以及这张考卷为什么这么难出。

一、问题是什么

要考 AI 会不会做科学，先得有一张考卷。这句话听着简单，做起来难。难在考卷会过期。

2023 年 11 月，一批博士专家出了一套科学选择题，叫 GPQA，号称连谷歌都搜不到答案，专门考专家级的科学推理。刚发布时，当时的顶尖模型 GPT-4 只得了 $39\%$，专家自己的基线是 $70\%$。一套题能把机器和人分开，区分度相当好。两年后，新模型 GPT-5.2 在这同一套题上得了 $92\%$。一套曾让最强模型不及格的题，两年就被考穿了。这种题就叫饱和题。

选择题为什么容易饱和？选项是有限的，答案可以背，选项可以排除。题出得再刁钻，模型见多了总能摸到规律。这是选择题的天性。

于是 OpenAI 在 2025 年 12 月推出了 FrontierScience，一套评估物理、化学、生物三个领域专家级科学推理的新基准。完整评测有 700 多道文字题，其中 160 道进了公开的黄金题集。它分两个赛道，配图里画得清清楚楚。

上面一条是 Olympiad 赛道，100 道题，由国际奥赛奖牌得主设计，理论难度不低于真正的国际奥赛，答案很简短，一个数、一个式子或一句模糊匹配都算。下面一条是 Research 赛道，60 道原创研究子任务，由博士生、教授、博士后设计，难度相当于一位博士在自己研究里会碰到的那种问题。

二、它从哪来

要弄明白这套基准从哪来，先看它接的是谁的班。

过去一年，模型在数学竞赛里拿过金牌级的成绩，也开始被科学家拿来加速真实研究，比如跨语言、跨学科的文献检索，比如啃复杂的证明。几天几周的活，被压到几小时。OpenAI 自己说，衡量 AI 科学能力最要紧的标准，是它帮人类做出的新发现。可新发现要靠模型去碰够难的问题，而难的问题得有人先出出来。

这就回到考卷会过期这件事。市面上已有的科学基准，要么全是选择题，要么已经饱和，要么根本不聚焦科学。选择题考得动知识的记忆，考不动开放的推理。OpenAI 想换一套没那么容易饱和的考法，就请物理、化学、生物的专家来出题并验证。

Olympiad 赛道的 100 道题，由 42 位前国际奥赛奖牌得主或国家队教练参与设计，这些人手上一共攒了 109 枚奥赛奖牌。Research 赛道的 60 道题，由 45 位合格科学家设计，他们大多是博士在读、博士后或教授，专长从量子电动力学一路铺到合成有机化学和演化生物学。

出题时还有一道防作弊的手续。凡是自家模型答得对的题，一律淘汰。所以这套基准对 OpenAI 自家的模型是略偏严的。100 道奥赛题和 60 道研究题组成的黄金题集全部开源，剩下那部分题留作以后检验模型有没有背到过答案。

三、卡在哪

要读懂这张考卷卡在哪，先分清两条赛道的判分方式。这个分法，天天出题的老师会特别眼熟。

Olympiad 赛道靠对答案判分。答案是一个数、一个式子或一句模糊匹配，对错一眼看得出，机器好判。这像数学考试里的选择题和填空题，空是唯一的，答案好核。可它天生两个毛病。第一，答案有限，靠背、靠排除都有机可乘，题目会饱和。第二，为了答案唯一，题目不得不收着问，问不出开放的东西。原文里说得很直白，这种判分方式和题目的开放程度是互相牺牲的。

Research 赛道靠评分标准判分，评分标准在英文里叫 rubric。开放式研究题没有唯一答案，对答案这条路走不通，只能把整道题拆成多个独立的、能客观判断的小项，每项占分，加起来正好 10 分。评分标准既看最终答案，也查中间的推理步骤，所以模型卡在哪一步，从得分里能看出来。OpenAI 的规矩是，拿到至少 $7/10$ 才算答对。

举一个真实例子。一道有机化学研究题问，镍酞菁把桥位氮原子改了之后，电子结构、芳香性、光谱和反应活性各会怎么变。评分标准把它拆成一个个 1 分的小项。说清开环和扩环这两条具体反应路径，各自给分；只说这个体系很活泼、讲不出具体路径，给 $0.5$ 分；完全分析错，$0$ 分。每个小项都能独立核验，凑起来就是 10 分。

为什么开放题不容易饱和？每道研究题都有新意，没有标准答案可背，没有选项可排除。模型要么确实懂，要么答不到点子上。

评分标准自己也有软肋。规则定得越细，越接近客观，可一道长任务拆成许多小项之后，逐项打分就没有对答案那么干脆。更现实的一层是，逐题请专家人工打分没法规模化，OpenAI 只能让 GPT-5 照着评分标准当判卷老师。判卷老师本身也是模型，这层折中绕不开。

最外头还有一堵墙，是基准的边界。FrontierScience 只覆盖专家出的、被约束住的题目。真实科学里最值钱的部分，提出全新的假设、摆弄视频等多模态数据、亲手碰真实的实验系统，这套基准一概不考。它给的是难题推理的一张快照，可科学是怎么被做出来的，全景还在画框外面。

四、现在到哪了

成绩单已经出来了。OpenAI 用 GPT-5.2、Claude Opus 4.5、Gemini 3 Pro 等几个前沿模型做了初测，GPT-5.2 表现最好。Olympiad 赛道 $77\%$，Research 赛道 $25\%$，都领先其他模型。Gemini 3 Pro 的奥赛分是 $76\%$，跟得很近。

两个数字摆在一起，落差本身就说明问题。配图里上面那条蓝条长，下面那条红条短，一长一短就是这道题的答案。短答的奥赛题，模型已经摸到专家水平，$77\%$ 离满分不远。一到开放式研究题，立刻掉到 $25\%$，及格线都够不着。研究能力里最难啃的那块，模型还差得远。翻失败记录，模型会犯推理错、逻辑错、计算错，会看不懂冷门概念，还会一本正经地说错事实。

OpenAI 自己的结论很克制。现在的模型能撑起研究里结构化推理这一块，开放式思考还差很多。这跟科学家眼下的用法吻合。科学家把模型当加速器，文献检索、整理草稿这类活交给它，问题的设定和结果的验证仍由人拍板。

回到开头那句判断。衡量 AI 科学能力的最终考卷，是它帮人类做出的新发现。FrontierScience 只是这条线的上游，给出一张标准化、能横向对比的难卷。它窄，只考受约束的专家出题，考不了科学家日常工作的全部。但方向没错，科学基准需要更难、更新、更有意义的题，这张考卷正是往那边推的一步。

这个专题怎么走

这是「AI 正在攻克的数学问题」系列的第 9 讲。前面的 001 单位距离、002 球堆积、003 纳维-斯托克斯、005 多色 Ramsey 数，讲的全是 AI 攻克了一道具体的难题。这一讲换了对象，考的重点从解题挪到出题和判分，是全专题里离老师日常最近的一篇。天天出卷的命题人，看到两条赛道的判分方式会特别有共鸣。对答案那种，对应选择题和填空题；按评分标准给分那种，对应解答题按步骤给分。同一个手艺，换了一群考生。

给学生的入口建议。这讲没有超纲的数学，唯一要认的生词是 rubric，把它当成解答题的评分细则就好。想再深一步，找一套自己做过的卷子，把某道解答题的参考答案和它的给分点对着看，你就能体会 FrontierScience 在忙什么。

思考与拓展

1. （热身）选择题为什么容易饱和？找一道你做过的单选题，数一数它有几个选项。再想一想，一个人靠排除法，不动脑子最多能蒙对几题。判断题、多选题会不会饱和得更快？

2. （中等）OpenAI 规定拿到至少 $7/10$ 才算答对。想一想，如果把门槛改成必须拿满 10 分，会怎样？改成得 1 分就算对，又会怎样？这两种改法各自放大了哪一类错误？

3. （进阶）评分标准把一道开放题拆成几个 1 分的小项，凑满 10 分。这和高考解答题按步骤给分有什么异同？自己写一道函数解答题的评分细则，把分数怎么拆讲清楚。比如第一问算错但思路对，给几分；第二问方法对、最后一步结果算错，给几分。

4. （回扣教材）打开人教A版必修第一册第三章「函数的概念与性质」，挑一道解答题，看它的参考答案是怎么按步骤给分的。然后做个实验。给这道题配一张 10 分的评分标准，请两位同学独立打分，看两人给的分一不一致。再想想，为什么评分标准写得再细，不同判卷人还是会给出差分。

一句话总结

给 AI 的科学考卷，选择题式的题两年就饱和了。OpenAI 的新基准 FrontierScience 用两条赛道错开这个坑。短答的 Olympiad 赛道，GPT-5.2 得了 $77\%$；开放式 Research 赛道，只得了 $25\%$。开放式研究题没有唯一答案，只能靠评分标准给分，而评分标准怎么设计，正是出题人的日常功课。

原始报道 OpenAI《Evaluating AI's ability to perform scientific research tasks》，2025 年 12 月 16 日。

延伸阅读 GPQA, A Graduate-Level Google-Proof Q&A Benchmark，2023 年 11 月（博士专家出题的上一代科学基准）。