首页 > 教程资讯 > 教程详情

OpenAI 推出药物化学基准 MedChemBench,GPT-6.2 Astra 自测得分 84.5%

AI 与前沿 数码评测汪工 2026-11-22
文章分享

OpenAI 推出药物化学基准 MedChemBench,测试 AI 模型能否将分子结构与实验证据联系起来,解释结果、比较化合物并预测性质。发布方自测显示,在 xhigh 推理设置下,GPT-6.2 Astra 获得 84.5% 的可得分数。不过,OpenAI 明确表示,这些成绩尚不能证明模型能发现新药或改善实验室决策。

从分子结构到实验预测

据 OpenAI 介绍,药物化学研究需要权衡多种性质:一个化合物可能对致病相关蛋白作用很强,却吸收不佳或在体内分解过快。化学家通过设计、合成和测试相关化合物,决定下一步研究方向;MedChemBench 考查的正是模型能否结合结构变化与实验证据进行推理。

该基准包含 99 道题,取材于 117 篇已发表论文和专利,涉及 761 个不同分子结构。多数题目提供研究项目某一时点的背景,包括生物靶点、研究目标、已研究的化合物及部分实验结果。

评分分为四部分:分子结构是否正确还原,科学解释是否得到证据支持,化合物排序与选择是否符合要求,以及性质预测与来源中数值、类别的吻合程度。

其中一道题取材于癌症药物研究中的 PRMT5 抑制剂研究,要求预测三个相关化合物在细胞中抑制 PRMT5 的强度、穿过细胞屏障的难易,以及在肝酶实验中的分解速度。未向模型提供的后续实验显示,化合物 23 能在更低浓度下抑制细胞中的 PRMT5,而化合物 24 更容易穿过细胞屏障,在肝酶实验中分解也更慢。

结构还原与性质预测表现不同

据 OpenAI 自测,在相同的 xhigh 推理设置下,GPT-6 Astra 获得 83.3% 的可得分数,GPT-6.1 Sol 为 82.0%,GPT-5.6 Sol 为 58.2%。

分项结果中,GPT-6 Astra 在结构还原上获得 95.4% 的可得分数,但在选择化合物和预测数值性质上仅获得约一半分数。OpenAI 同时指出,这些类别采用不同任务和评分规则。

一道结构题要求模型依据中心结构和两个连接基团组装分子,并保留一个 18 元环。在 xhigh 设置下,GPT-6 Astra 的 10 次回答全部正确,GPT-5.6 Sol 和 GPT-5.6 Luna 的 10 次回答则全部失败。在展示的答案中,前者生成了 15 元环,后者将分子拆成两个不相连的片段。

成绩不等于真实药物发现能力

OpenAI 表示,无法排除模型此前接触过这些已发表来源的可能性。评测中,每次回答都只有一次尝试,不使用工具,没有反馈,也没有新实验。因此,这项基准评估的是模型依据历史证据进行推理的能力,其结果不能证明模型能够发现新药或改进实验室决策。

来源