计算化学基准评测

Scientify 在计算化学三大榜单上全部取得 SOTA

MDArena、INCARBench 与 CompMat-Bench 分别考察分子动力学、第一性原理参数设置和计算材料研究三类核心能力。Scientify 在 912 道题上独立完成从读题、准备输入、执行计算到分析结果的全过程,四个评测项全部接近满分,并大幅领先已公开的最好成绩。

MDArena

93.24%

分子动力学全流程 · 50 题

INCARBench 生成

95.04%

VASP 参数从零编写 · 192 题

INCARBench 修复

99.32%

VASP 参数纠错 · 576 题

CompMat-Bench

97.87%

计算材料研究单步任务 · 94 题

三个榜单

它们考的是计算化学研究者每天真正在做的事

三个榜单都不是选择题。每道题给出真实的体系、输入文件和研究目标,要求产出可以直接交给计算软件或评分程序检验的结果。

分子动力学研究的完整工作流

MDArena

提出单位:牛津大学

93.24%

平均正确率

50 道题取自真实的生物分子模拟课题,覆盖从拿到结构到得出物理结论的每个环节:清理晶体结构、为配体和非标准残基生成力场参数、搭建 GPCR 膜蛋白体系、设置相对与绝对结合自由能计算、配置扩展系综与炼金术元动力学,以及从轨迹中统计氢键、构象主成分和离子电导。评分逐项检查输出文件和数值结论。

  • 体系搭建与膜蛋白建模
  • 力场参数化(GAFF、OpenFF、残基补丁)
  • 自由能计算(OpenFE RBFE/ABFE、GROMACS ABFE)
  • 增强采样(PLUMED、扩展系综)
  • 轨迹分析与 QM 簇模型
题目
50
难题
16
满分题
43

第一性原理计算的参数判断

INCARBench

提出单位:南开大学

95.04% / 99.32%

生成 / 修复

INCAR 决定一次 VASP 计算算的是什么、算得对不对。生成任务给出材料、POSCAR 和计算目标,要求从零写出 INCAR;修复任务给出一份带错误的草稿,错误来自任务理解(把静态计算写成弛豫、把能带写成自洽)和材料物理(半导体用错展宽、磁性体系丢掉自旋或 DFT+U、重元素丢掉自旋轨道耦合),同时混入本来正确、不应改坏的草稿。

  • 静态自洽、结构弛豫、态密度、能带四类计算
  • 磁性与强关联体系的自旋与 DFT+U
  • 金属与半导体的展宽选择
  • 识别并保留本来正确的设置
题目
768
材料
48 种
材料类别
16 类

计算材料前沿研究的单步任务

CompMat-Bench

提出单位:莱斯大学

97.87%

通过率

94 道题拆自近期发表的计算材料研究,体系包括 Heusler 合金、WS₂/WSe₂ 莫尔异质结、MnTe 交错磁体、HfZrO 铁电薄膜、BaTiO₃ 位错、BAs 声子输运和 CrN 反铁磁序。题目要求为 VASP、Quantum ESPRESSO、ABACUS、LAMMPS、VAMPIRE 等软件准备输入,或从计算数据中提取能隙、交换常数、热导率、奈尔温度等物理量,由官方评分程序逐项核对。

  • DFT、DFT+U 与自旋轨道耦合输入
  • 声子、热输运与介电响应
  • 磁交换与蒙特卡洛模拟
  • 分子动力学与过渡态
题目
94
通过
92
评分检查项
2349 / 2362

榜单对比

四个评测项全部第一

对比成绩取自各榜单论文与公开排行榜。Scientify 在 INCARBench 修复上领先 25 个百分点以上,在 MDArena 和 INCARBench 生成上领先约 10 个百分点。

MDArena v0.2.0

平均正确率

领先第二名

+9.44 pt

  1. Scientify93.24
  2. GPT-5.5 XHigh83.80
  3. GPT-5.5 Medium83.60
  4. Gemini 3.5 Flash68.40
  5. Gemini 3.1 Pro64.80
  6. DeepSeek-V3.259.90
  7. Qwen3-235B21.40

对比来源:论文 Table 1

INCARBench v1 · 生成

必需参数平均匹配率

领先第二名

+10.86 pt

  1. Scientify95.04
  2. GPT-5.4 XHigh84.18
  3. GPT-5.482.39
  4. GPT-5.4 No reasoning81.49
  5. Qwen3.6+ thinking74.82
  6. Claude Opus 4.674.02
  7. Gemini 3.1 Pro73.08
  8. DeepSeek Reasoner70.86
  9. Claude Sonnet 4.667.74
  10. DeepSeek Chat65.25
  11. Llama 4 Maverick63.51
  12. Claude Haiku 4.561.10
  13. Qwen3.6+ no-thinking59.85

对比来源:公开排行榜

INCARBench v1 · 修复

修复总分

领先第二名

+25.55 pt

  1. Scientify99.32
  2. Claude Haiku 4.573.77
  3. Gemini 3.1 Pro72.45
  4. Claude Sonnet 4.671.31
  5. DeepSeek Reasoner71.16
  6. GPT-5.470.87
  7. Qwen3.6+ thinking70.74
  8. Qwen3.6+ no-thinking69.89
  9. GPT-5.4 No reasoning69.67
  10. Claude Opus 4.669.60
  11. GPT-5.4 XHigh67.68
  12. DeepSeek Chat66.59
  13. Llama 4 Maverick65.95

对比来源:公开排行榜

CompMat-Bench v1.0.0 · 单步

94 题通过率

领先第二名

+6.38 pt

  1. Scientify97.87
  2. Codex GPT-5.691.49
  3. GPT-5.6-sol90.43
  4. Gemini 3.8 Flash89.36
  5. DeepSeek V4.1 Flash65.96

对比来源:论文

题目示例

每个榜单抽一道题,原题和答案都可以下载

下面三道题分别来自三个榜单。下载原题,对照 Scientify 提交的答案,可以自己检查每一步。

MDArena · 难题

从 168 ns 轨迹计算 6NQ0 通道的 Na⁺ 电导

给定膜蛋白通道 6NQ0 的分子动力学轨迹,按原始分析流程识别 Na⁺ 从胞质门控区穿过选择性滤器的完整渗透事件,计算电流与电导。

Scientify 从 180 个 Na⁺ 中筛出 167 个进入孔道的候选离子,逐帧跟踪状态,找到 5 次完整渗透事件并给出每次的进出时间,算得 −750 mV 下电导为 6.36 pS。两套独立实现的分析在离子编号、事件时间和电导上完全一致。

轨迹
1681 帧 · 168 ns
渗透事件
5 次
电导
6.36 pS
得分
满分

INCARBench · 修复 · L3

找回 NiO 被删掉的自旋极化和 DFT+U

NiO 是典型的强关联反铁磁氧化物。题目给出的静态自洽草稿把 ISPIN 设成 1,并且没有任何 DFT+U 设置,算出来会是错误的非磁性金属。

Scientify 恢复了自旋极化,为 Ni 设置初始磁矩,在 Ni 的 d 轨道上加 Hubbard U,补上 LMAXMIX 与 LASPH,同时保留草稿中本来正确的四面体积分、截断能和静态计算设置。

难度
L3
材料类别
强关联氧化物
关键修复
ISPIN · MAGMOM · LDAU
得分
满分

CompMat-Bench · 单步

从蒙特卡洛扫描数据求 CrN 的奈尔温度

CrN 是双层反铁磁体。题目给出 VAMPIRE 的输入与一组温度、三个随机种子下的蒙特卡洛观测量,但不提供软件本身,要求求出归一化交错磁化强度曲线和奈尔温度。

Scientify 根据输入卡片和手册确定磁子晶格与输出列的对应关系,构造反铁磁序参量并对三个种子求平均,得到完整的温度曲线,提取出奈尔温度 282.5 K,通过官方评分程序的全部检查。

软件
VAMPIRE
奈尔温度
282.5 K
评分检查
2 / 2
得分
满分

逐题得分

912 道题的得分逐条公开

表格列出每道题所属的榜单、版本、子集、题目编号、难度和得分,可以按题目编号对照各榜单的原始题目。

scientify-ccbench-scores.csv912 行 · 每题一条记录

把你的计算化学课题交给 Scientify

云电脑已预装 GROMACS、LAMMPS、OpenMM、AmberTools 等分子模拟软件,需要 GPU 时由智能体按需租用。描述研究目标,Scientify 会准备输入、运行计算并分析结果。