AGI-Eval 评测社区× GAIR Lab 发布最严苛AI基准：七大学科奥赛题难倒GPT-4o

目录：

01.OlympicArena 正式推出

02.OlympicArena 难度介绍

   2.1 覆盖领域广

   2.2 整体难度高

03.AGI-Eval评测模型榜单

04.学术难度分析

05.题型分析

06.难度分析

07.结语

01.OlympicArena 正式推出

自从年初 DeepSeek R1 版本开源后，国内外都又开始卷起推理系模型，不论是腾讯的 T1 还是字节在豆包上线“深度思考”推理模式的模型，高难度学科竞赛、代码竞赛的评测成为各大模型公司的关注目标。现在模型能力越来越强，一般难度的题目，模型之间都很难得出差异性，无法区分模型能力。

为了进一步挑战人工智能系统，大家已经开始研究一些最困难的竞赛中的问题，特别是国际奥林匹克竞赛和算法挑战。但目前尚无奥林匹克级别的、多学科的基准，能够全面评估综合解决问题的能力，以全面检验人工智能的综合认知能力。

AGI-Eval 大模型评测社区联手上海交通大学生成式人工智能实验室 (GAIR Lab) 的研究团队发布最新评测结果——多学科认知推理基准 OlympicArena。

02.OlympicArena 难度介绍

2.1 覆盖领域广

OlympicArena 覆盖数学、物理、化学、生物、地理、天文学、计算机科学7大领域，细分34个分支（如数论、量子物理、有机化学）。题目来源包括国际数学奥赛（IMO）、国际物理奥赛（IPhO）等 62 项顶尖赛事，共 11163 道双语题目（中英对照），实际的难度如何。

2.2 整体难度高

AGI-Eval大模型评测团队基于此，做了 OlympicArena 题目的难度验证，按照 14 个标杆模型（去除Qwen2-72B-Chat）的结果对数据子集和数据集维度做难度分布，从图中可以看到，OlympicArena 整体难度偏难，仅低于 AGI-Eval 团队私有的两个高中数学竞赛题目。

03 AGI-Eval评测模型榜单

“奥赛题是检验 AI 科学思维的绝佳试金石。”这类高难度题目不仅需要知识储备，更考验逻辑推导、空间想象、符号理解等综合能力。在这场超级测试中，那擅长代码、学科竞赛的推理系模型表现如何？

AGI-Eval 大模型评测社区也做了新的模型评测，接入最新的推理系模型以及大语言标杆模型。

o1登顶本次榜单

从整体表现上看 o1 和 DeepSeek-R1 的水平基本持平，但是在化学、生物学、天文学、物理上 o1 表现好于 DeepSeek-R1，特别是天文学上 o1 得分达92.47%，但数学、地理方面 DeepSeek-R1 优于 o1。

推理系模型和新迭代的模型版本效果都有明显提升，详细排名及得分可上官网查看。

关注我们，及时获取更多行业内容和资讯！

04 学术难度分析

从能力测试上可以看到模型在不同学科的表现水平不同，在天文学上 o1 得分高达 92.47%。是天文学很简单吗？基于此，团队也做了相关的学科分析，从下面的箱合图中可以看到（中位数越小越难）：

• 化学、生物、地理和天文为一档，该档模型中位数大于 0.6，从箱型大小可以得到构建优先级为：天文 > 化学 > 生物 > 地理

• 物理为单独一档，该档模型中位数 0.5 附近，箱型大小较大

• 数学为单独一档，该档模型中位数 0.3 附近，箱型大小极大

客观来说，在数学物理上 R1、o1、o3-mini 表现能力更好，能力水平也会更稳定。

05 题型分析

除对模型进行能力评测外，AGI-Eval 大模型评测团队也做了相关的题型分析，提炼出以下雷达图，从图中可以看到 1-5 排名的推理模型对其它模型产生了碾压的态势，特别是在非选择题题型上，建议构建题目以单问的生成题为主。

△通用模型6-10

06 难度分析

同时也对模型在面对不同难度题目做了分析，可以看到头部模型在 Easy 难度基本已接近 100% 的准确率，且无区分度；Medium/Hard 难度是推理系模型拉开的主战场，且 Meidum 难度已达到 90% 的准确率，后续模型评测建议只构建Hard难度的题目。

预测分析，用 Medium、Hard 拟合 Easy，Easy、Hard 拟合 Medium，以及 Easy、Medium 拟合 Hard，可以得到如下图（在 Ideal Fit 线上方的为超出预期，线下的为低于预期）。

• O3-mini、O1、DeepSeek-R1在Hard上已超越模型列表中的正常表现，但在Medium上略低于预期

• 平衡点：即 Easy、Medium、Hard 上分数为多少时三公式有解，说明模型表现均衡，Easy = 1, Medium = 0.6695, Hard = 0.1897

07 结语

在去年6月的时候，在 GPT-4o 也只达到了 34.01% 的整体准确率，而其他开源模型的整体准确率也难以达到 20%。这一鲜明的对比凸显了我们的基准测试的巨大难度和严谨性，证明了它在突破当前 AI 能力界限方面的有效性。

△该图为去年评测结果

OlympicArena 不仅是一套题库，还做了一些创新，比如为避免模型“刷题”，团队引入数据泄漏检测技术，采用 N-gram 预测检测数据泄露，确认99.6%的题目未被预训练数据污染。

除此之外还提供了一套全面的资源来支持人工智能研究，包括基准数据集、开源注释平台、详细的评估工具和具有自动提交功能的排行榜。

OlympicArena 的诞生，是对现有模型的试金石，更是对AI研发路径的深刻启示：仅靠数据堆砌无法实现真正的智能。未来的AI应该学会像奥赛选手一样拆解问题、关联知识、严谨推导。

当模型能力达到这样的水平时，对模型的评测的题目难度及评测要求也越来越高，后续模型评测建议只构建Hard难度的题目。

基于此，AGI-Eval 大模型评测团队创新性地提出了人机协作评测模式，并推出 10q 的全新玩法。待测模型需要在同一套 system prompt下指导真实用户学习一个知识点并完成 quiz，基于模型与用户的高质量多轮对话数据，产出更加高置信度的评测结论。

在这种模式下，参与者可以与最新的大模型共同完成任务，既有助于提高任务完成度又便于建立更加直观的区分度。

未来随着模型能力的不断攀升，AI还有更多能力值得发掘和探索，对模型能力的考察也仍有更多创新空间。

邀约：AGI—Eval是上海交通大学、同济大学、华东师范大学、DataWhale等高校和机构合作发布的大模型评测社区，旨在打造公正、可信、科学、全面的评测生态，以“评测助力，让AI成为人类更好的伙伴”为使命，专门设计用于评估基础模型在人类认知和问题解决相关任务中的一般能力。

方式：

• 数据托管：论文作者将评测集授权托管给 AGI - Eval 大模型评测社区，新模型出现后，社区实时更新评测结果，论文作者可免去评测成本烦恼，与 AGI - Eval 一起共建开源社区。

• 双向引流：提供GitHub可附的公开、独立网站链接，支持论文用户、评测社区用户双向访问。

我们热忱欢迎更多的论文作者加入 AGI - Eval 大家庭！无论您专注于多模态理解评测能力建设、自动化评测方法，还是评测数据集自动更新研究，亦或是其他 AI 关键领域；无论您是初出茅庐、满怀热忱的新锐学者，还是经验丰富、硕果累累的资深专家……在这里，都有一片属于您的创新沃土。

真正的智能不应是考试机器，而是能理解人类思维的协作者。携手 AGI - Eval 大模型评测社区，共同破解“模型看似合理，实则偏离人类思维”的黑箱谜题，用科学标尺丈量 AI 的“人类化”进程，一起为 AI 的未来添砖加瓦！

论文地址： 

https://arxiv.org/pdf/2406.12753
项目地址： 

https://gair-nlp.github.io/OlympicArena/
代码地址： 

https://github.com/GAIR-NLP/OlympicArena

最后，如果你也喜欢这篇文章，那就点赞转发收藏吧~下一期继续为你带来使用干货，记得关注我们！