证明提交——AI 的答卷摆上桌,专家来批
First Proof 是一场研究级数学挑战赛,OpenAI 让模型试答全部十题,2026 年 2 月公开答卷由专家评分。十份里五份较可能正确、一份被确认错误。这一讲讲赛制,更讲评分比做题更难这个结论。
这是「AI 攻克的数学难题」系列的第 8 篇,也是七讲以来第一次换了个角度。前面几讲讲的是 AI 解决了什么问题,这一讲讲的是怎么判断 AI 解的是不是真的。
一、问题是什么
先分清两件事。前面几讲的答案是「AI 给出了一个结果」,这一讲的答案是「AI 的答卷摆上了桌,轮到人类来批」。题目本身反而不是重点。
这项挑战赛叫 First Proof,网址是 1stproof.org。它的任务和短答题、竞赛题都不一样。竞赛题通常有标准答案,对错一眼能看出来,批改是机械活。First Proof 要求的是在某个专业领域里,把一道题从头到尾论证到底,写出一份完整的、可检验的证明。这样的证明对错很难在没有专家审阅的情况下确定,因为中间每一个转折都可能藏着一处跳步。
所以 First Proof 考的其实是两件事。一是模型能不能产出这样的长论证,二是这些论证到底对不对。第二件事没有捷径,只能靠专家一份一份看。
二、它从哪来
出题的是各个领域的顶尖专家。他们出的题里,至少有两道开放了好几年,最后是出题者本人找到了解法才解决的。这些题的难度大致在什么位置?原文里有一句话值得记住。一个和这些题目领域有较多重合的学术系,可能在一周内解出其中很多题。换句话说,题不冷门到没法学,但足以让普通机构花一个礼拜的力气。
OpenAI 用内部模型试答了全部十道题。2026 年 2 月 14 日太平洋时间凌晨 12 点,他们把十份证明尝试全部公开。这是一个「快冲刺」。整个过程里人工监督很有限,有时候建议模型重试某些看起来有戏的路子,收到专家反馈后让模型把证明的某一段扩写或澄清,方便验证,还让模型和 ChatGPT 来回做格式和排版,对某些题挑出几次尝试里人工判断最好的一份。
十份答卷摆出来,剩下的交给专家。
三、卡在哪
卡的地方在评分这一侧。专家看完一份证明,未必能立刻说出它对不对。
原文把话说得很直。基于专家反馈,模型对第 4、5、6、9、10 题的证明有较大概率正确,另外几道还在审阅中。这里「较大概率正确」本身就是一个很暧昧的说法,它承认了「我们倾向认为它对,但说不清哪里对」这种状态真实存在。
最值得写的细节在第二题。最初他们认为第 2 题的尝试大概率正确,后来根据 First Proof 官方的评论和社区的进一步分析,他们承认这道题现在被认为是不正确的。一份最初被当成「大概率对」的答卷,后来被推翻。这个「承认错了」的细节,比任何一份正确的答卷都更能说明评分有多难。它提醒所有人,专家初审时那句「倾向认为对」是会改口的话。
还有一个细节值得单说。收到专家反馈后,OpenAI 会要求模型把证明里某些部分扩写或澄清,好让推理更容易被验证。这个动作看着不起眼,其实点到了要害。一份逻辑上正确但写得晦涩的证明,和一份写得漂亮的错误证明,在短时间内都可能躲过检查。所以「让论证更容易被检验」本身就是一种能力。
全部十份证明尝试公开的同时,还附了一个新加的附录,内容是提示词的模式和示例,目的是模拟人们与模型互动时的真实过程。把「怎么跟模型说话才容易问出好证明」也当成研究材料一起公开,这一步很少见,却特别重要,因为这类成果最容易被质疑的就是「你们是不是调了很久」。
OpenAI 自己也承认,这是一次快冲刺,过程没有严格受控评测那么干净,他们期待和 First Proof 的组织者讨论更严谨的实验框架。这句话等于承认了,这一次的评分只是初步判断,还不是定论。
四、现在到哪了
先把坐标放好。这次试答不是凭空冒出来的。2025 年 7 月,通用推理模型在国际数学奥林匹克达到金牌水平,得分 35 分,满分 42 分。2025 年 11 月,OpenAI 发了《Early experiments in accelerating science with GPT-5》,一批 GPT-5 帮研究者做实事的案例。再往前,GPT-5.2 在物理合作里提出过胶子振幅公式的候选式,后来被形式化证明。这次 First Proof 试答,是同一串能力里最新的一步。
OpenAI 的 James R. Lee 讲了训练的过程。他们正在训练一个新模型,重点放在提高思维严谨性,目标是让模型能连续思考很多小时,并保持高置信度。First Proof 题目公布时,模型一上手就解出了第 9 题和第 10 题。随着训练推进,它又解出至少三题。他们特别高兴的是解出第 6 题,两天后又解出第 4 题,因为这两题出自大家熟悉的领域。「看着一个模型一天天实实在在地变聪明」,他用了「不可思议」来形容。
为什么要做这个评测?基准测试有用,但会漏掉研究里最难的部分。维持长推理链,选择恰当的抽象,处理题面里的歧义,产出一份经得起专家审视的论证。这些东西单靠刷题测不出来,只能靠 First Proof 这种「正确性很难自动验证」的场合来压测。
这一讲和数学教育的关系,在评分这一步接上了。专家审一份证明时「倾向认为对,但说不清哪里对」的状态,跟老师判学生解答时的处境很像。一份解答摆上来,思路对、步骤连贯,但某一步跳了,判卷的人凭经验觉得它站得住,又不敢打包票。模型答卷里那些「改一处就可能崩」的部分,也跟学生解答的得分边界很像,改错一个符号,整道题的分界就划到另一侧。评分不是比对答案,是对「哪里对、哪里靠得住」的掂量。这在数学里,无论对 AI 还是对高中生,都是最难的那门手艺。
这个专题怎么走
这是「AI 攻克的数学难题」系列的第 8 讲,也是第一次把镜头从题目本身转向「怎么判断答案」。前面七讲看的是 AI 在单位距离、球堆积、纳维-斯托克斯、非 sofic 群、多色 Ramsey 数这些题上给出了什么结果,这一讲看的是结果交到人手里之后,人的评判过程有多难。
给学生的入口建议。这一讲里没有要解的题,只有一张答卷表。读的时候抓住三件事就够了。First Proof 考的是可检验的证明;十份里五份较可能正确、一份被确认错误;承认第二题错了,比正确答案更能说明评分有多难。第二节和第三节里的训练过程细节可以略读,不影响主线。
思考与拓展
-
为什么竞赛题评分容易,证明题评分难? 竞赛题有标准答案,对错一眼看出。证明题每一步都是判断,专家也只能说「倾向认为对」。用一句话说说,这两种判卷差在哪个环节。
-
「较大概率正确」和「正确」差在哪里? 第 4、5、6、9、10 题被标成「较大概率正确」,第 2 题最初也是这个标签,后来被推翻。为什么初审时那句「倾向认为对」会改口?提示。一份长证明里,某个隐藏的跳步要花多久才暴露。
-
评分比做题难在哪? 把「模型写一份证明」和「专家判这份证明」各看成一份工作,列出后者比前者多的那部分劳动。它是不是更像老师判卷时对「思路对但跳步」的掂量?
-
回扣教材。 打开人教A版必修第一册第三章「函数的概念与性质」,找到函数的单调性那一节。要证明 在 上单调递增,你会在哪一步「跳过去」?把那一步补严实,再想想。为什么补严实的一步,往往比整道题的其他步骤更难写?这和专家审 AI 证明时卡住的环节,是同一种难。
一句话总结
First Proof 是一场研究级数学挑战赛,2026 年 2 月 OpenAI 把模型对十道题的证明尝试公开评分,五份较可能正确、一份被确认错误;这一讲的落点是评分比做题更难,专家那句「倾向认为对」随时可能改口,而这正是数学里最难的手艺。
原始报道 OpenAI《Our First Proof submissions》,2026 年 2 月 20 日。
延伸阅读 First Proof 官网 1stproof.org。