与传统基准测试侧重于“模型是否能回忆知识”或“是否能遵循固定步骤完成任务”不同,GeneBench-Pro 旨在模拟真实科研场景的实用性。它要求模型在面对“模糊、不完整,甚至夹杂干扰信息的数据环境”下,进行判断和分析以得出结论。
GeneBench-Pro 涵盖了基因组学、定量生物学和转化医学等多个领域,共计 129 道题目。这些题目被划分为 10 个主要领域和 21 个子领域,内容涉及统计遗传学、群体遗传学、功能基因组学、蛋白质组学等。每道题都会向模型提供接近真实科研环境的数据集、简要的实验背景说明以及一个与后续决策相关的目标问题。模型需要自主完成数据探索、选择分析方法,并在此过程中不断调整策略,最终给出答案。
为解决传统长流程基准测试中常见的评分偏差问题,OpenAI 在设计 GeneBench-Pro 时采用了合成数据。这是因为使用历史真实数据出题时,可能存在多条可行的分析路径,导致模型即使采用错误方法也可能偶然获得正确答案。通过使用合成数据,OpenAI 能够完全掌握底层因果关系和数据生成过程,从而更精确地评估模型是否真正理解问题,而非通过“走捷径”的方式。
目前,OpenAI 已在 Hugging Face 上开源了 10 道 GeneBench-Pro 的示例题目,并提供了交互式界面供外部研究人员体验。未来,将有 50 道题目开放给 Artificial Analysis 进行第三方独立评估,以验证不同模型在这一基准测试中的实际性能。
发表评论