给大模型考“五三”？清华和曲一线的大模型测评集来了

　　来源|多知网

　　作者|王上

　　针对大模型的考试越来越丰富了!

　　近日，清华⼤学THUNLP实验室和北航、曲⼀线智能出版中⼼联合发布了OlympiadBench，这是⼀个Olympiad-level的双语、多模态的科学评测集，主要评测大模型在数学和物理方面的推理能力。

　　根据OlympiadBench研究团队的论文显示，这套评测集包含了8952条数学和物理问题，这些都来⾃于国际奥赛、中国奥赛、中国⾼考模拟题。

　　这套评测集的特点是：达到奥林匹克竞赛难度，多模态，主要评估⼤模型在数学、物理上的推理能⼒;且是双语的。这是第一个提供双语、多模态的科学基准。

　　曲一线是中国教辅头部企业，旗下“五三”教辅闻名全国。OlympiadBench评测集的推出意味着可以给大模型考“五三”了。

　　各大模型的成绩如何?

　　根据OlympiadBench研究团队的研究结果显示，OpenAI旗下的大模型GPT-4V在OlympiadBench上的平均得分为17.23%，仅在物理学方面得分为11.28%。

　　01

　　OlympiadBench出炉：给大模型考试加大难度

　　每一个大模型发布之前，都会公布一些评测数据。这是怎么得出来的?背后就是基准(Benchmarks)评测数据集(简称“评测集”)。

　　为了评估模型的性能，需要使用评测集来测试模型对未见过的数据的预测能力。因此，评测集不同于训练集，两者是独立的。

　　当前，有很多专门人员或者机构来构建测试数据集，可以说他们是针对大模型的“考试题”。

　　比较常用评测集有：

　　GSM8K，一个由8.5K高质量的语言多样化的小学数学问题组成的评测集，采用英文格式。

　　MMLU，该测评数据集为英文格式，涵盖 STEM、人文学科、社会科学等领域的 57 个学科。难度从初级到专业高级，既考验世界知识，又考验解决问题的能力。

　　C-Eval，是首个评估中文基础模型高级知识和推理能力的广泛基准，由清华大学THUNLP实验室联合上海交通大学推出，该评测集包括四个难度级别的多项选择题：初中、高中、大学和专业。

　　MMCU，这是甲骨易AI研究院推出的中文评测数据集，为中文格式，涵盖医学、法律、心理学和教育四大领域，主要是选择题，题目的数量达到1万+，主要评测理解能力。

　　随着大模型的发展，传统的数学、物理基准已经难以满足大模型的快速发展，需要更具难度的评测集来评估。

　　数学、物理难度的最高标准是什么?非奥林匹克竞赛莫属。因此，这个数据集命名为OlympiadBench。这是由清华⼤学和北航、曲⼀线智能出版中⼼联合发布的⼀个Olympiad-level的双语、多模态的科学评测集，来向⼤模型发起挑战。

　　OlympiadBench挑选了国内外奥林匹克竞赛和国内⾼考的的开放性回答题⽬。⽆论是难度还是题⽬形式，均和以往的基准不同，都对模型进⾏⾼阶推理提出更大的挑战性。

　　在学科方面，OlympiadBench选择了数学、物理。数学、物理这两个对⼈类科学极其重要的学科，其中物理的难度不亚于数学，却经常被忽略。

　　在形态上，OlympiadBench是多模态的。随着大模型的快速发展，传统的基准评测集⼀般是只有文本，不满⾜研究需求。尤其是物理和数学经常是很多图形、表格的题目，需要图片上传，OlympiadBench则正好包含了多模态信息。

　　在语言方面，是双语的。⽬前⽐较多的基准评测集⼤都是英⽂的格式，⽽中⽂环境下也缺少有难度的问题。所以OlympiadBench收集了中⽂环境下有难度的问题，为中⽂⼤模型、中⽂的研究提供资源。

　　且每条数据都包含了专家级别标注的解答过程、细分领域、题型等等，以及丰富的数据量。

　　OlympiadBench可以说为推理研究提供了一个资源库。

　　02

　　OlympiadBench的评测集是怎样构建的?

　　对于大模型研究来说，数据集的作用非常大。不过，构建测试数据集这件事本身难度很大，比如要构建哪些能力?测评哪些方面?

　　其中，推理能力是重要的评测标准。

　　OlympiadBench团队的出发点是，通过OlympiadBench建⽴⼀个代表⼈类智⼒成就顶峰的基准，从⽽⿎励研究⼈员推动⼤模型的数学和物理推理能⼒的边界。

　　为了实现这⼀愿景，OlympiadBench团队收集了国内外奥林匹克竞赛题⽬以及国内的⾼考题⽬：

　　对于奥林匹克竞赛题目，OlympiadBench研究团队从官⽅下载PDF，并使⽤Mathpix转化为markdown。

　　研究团队对处理的结果进⾏细致的校对、修复。然后进⾏统⼀去重。

　　最后，按照细分领域、题型、答案格式和子字段等关键信息进⾏属性标注，从⽽获得⼀个含有多种详细分类且⼲净、准确和详细的数据集。

　　

　　(OlympiadBench评测集构建流程)

　　对于国内高考题目，OlympiadBench研究团队选择曲一线的“五三”教辅，这集合了从2005年到现在历年的高考模拟题和真题。

　　

　　(详细的数据集)

　　实际上，曲一线很早就开始了数字化，曲⼀线智能出版中⼼就是专门做数字化内容的部门。此前，“五三”此前也进入了小猿智能本、有道等智能硬件。

　　可以说，“五三”教辅是一个现成的中文高考评测集，有详细的题目和解题过程，且均是标注好的。

　　曲一线团队告诉多知网：“‘五三’题库非常精准，题目和答案都经历了三审三校的过程，差错率远低于国内对出版要求的万分之一。”

　　OlympiadBench采用“五三”教辅，对于曲一线而言，一方面象征着其数字化内容得到了更为深入的应用，另一方面也强化了其品牌势能。

　　03

　　结果来了：GPT-4V平均准确率为17.23%

　　大模型在OlympiadBench评测集的表现如何?

　　在研究上，为了更准确全⾯的评估，OlympiadBench研究团队举例针对以上五种答案题型的题⽬，构建了⼀个⾃动评分的路径。

　　OlympiadBench测试了5家大模型(当时Anthropic推出Claude 3大模型还未面市，因此不在其中)，包括微软、零一万物、谷歌、通义千问和OpenAI旗下的大模型。

　　从测试结果可以看到，OlympiadBench⽐现在基准评测集更具有挑战性，OpenAI旗下GPT-4V的平均准确率仅为17.23%，通义千问旗下Qwen-VL-Max平均准确率为10.31%，谷歌旗下Gemini-Pro-Vision平均准确率为4.38%。

　　

　　(实验结果)

　　从理论上来看，大模型通过各项基准测试的数据越高，在一定程度上意味着越接近AGI，即能达到人类水平。从OlympiadBench测试结果来看，各家大模型离AGI还有一定的差距。

　　OlympiadBench研究团队还对大模型测试结果分析了错误的原因。

　　

　　(错误类型)

　　论文提到，对于证明题的分析，GPT-4V在Math-Zh_COMP的81道题中只答对了6道，都是相对简单经典的结论或者只涉及简单的计算推导，在Math-En_COMP中基本⽆法在标记限制内完成证明， 表明现有模型仍⽆法有效解决冗⻓的推理和证明。

　　同时GPT-4V暴露了⼏个问题，包括：⽆法充分利⽤图像信息；倾向于在简化和转换代数表达式时犯错误；提出简单、基本的不正确结论等。

　　目前，OlympiadBench已经全部公开，相信不久的将来，会有更多大模型用OlympiadBench评测集进行测试。

　　研究团队表示，希望OlympiadBench可以为推动AGI的发展提供帮助，另外科学的评测集也不仅限于数学、物理，未来也将继续扩展基准，来提供更全⾯的评估。

　　END

　　本文作者：王上