MDArena
分子动力学全流程 · 50 题
INCARBench 生成
VASP 参数从零编写 · 192 题
INCARBench 修复
VASP 参数纠错 · 576 题
CompMat-Bench
计算材料研究单步任务 · 94 题
三个榜单
它们考的是计算化学研究者每天真正在做的事
三个榜单都不是选择题。每道题给出真实的体系、输入文件和研究目标,要求产出可以直接交给计算软件或评分程序检验的结果。
分子动力学研究的完整工作流
MDArena
提出单位:牛津大学
93.24%
平均正确率
50 道题取自真实的生物分子模拟课题,覆盖从拿到结构到得出物理结论的每个环节:清理晶体结构、为配体和非标准残基生成力场参数、搭建 GPCR 膜蛋白体系、设置相对与绝对结合自由能计算、配置扩展系综与炼金术元动力学,以及从轨迹中统计氢键、构象主成分和离子电导。评分逐项检查输出文件和数值结论。
- 体系搭建与膜蛋白建模
- 力场参数化(GAFF、OpenFF、残基补丁)
- 自由能计算(OpenFE RBFE/ABFE、GROMACS ABFE)
- 增强采样(PLUMED、扩展系综)
- 轨迹分析与 QM 簇模型
- 题目
- 50
- 难题
- 16
- 满分题
- 43
第一性原理计算的参数判断
INCARBench
提出单位:南开大学
95.04% / 99.32%
生成 / 修复
INCAR 决定一次 VASP 计算算的是什么、算得对不对。生成任务给出材料、POSCAR 和计算目标,要求从零写出 INCAR;修复任务给出一份带错误的草稿,错误来自任务理解(把静态计算写成弛豫、把能带写成自洽)和材料物理(半导体用错展宽、磁性体系丢掉自旋或 DFT+U、重元素丢掉自旋轨道耦合),同时混入本来正确、不应改坏的草稿。
- 静态自洽、结构弛豫、态密度、能带四类计算
- 磁性与强关联体系的自旋与 DFT+U
- 金属与半导体的展宽选择
- 识别并保留本来正确的设置
- 题目
- 768
- 材料
- 48 种
- 材料类别
- 16 类
计算材料前沿研究的单步任务
CompMat-Bench
提出单位:莱斯大学
97.87%
通过率
94 道题拆自近期发表的计算材料研究,体系包括 Heusler 合金、WS₂/WSe₂ 莫尔异质结、MnTe 交错磁体、HfZrO 铁电薄膜、BaTiO₃ 位错、BAs 声子输运和 CrN 反铁磁序。题目要求为 VASP、Quantum ESPRESSO、ABACUS、LAMMPS、VAMPIRE 等软件准备输入,或从计算数据中提取能隙、交换常数、热导率、奈尔温度等物理量,由官方评分程序逐项核对。
- DFT、DFT+U 与自旋轨道耦合输入
- 声子、热输运与介电响应
- 磁交换与蒙特卡洛模拟
- 分子动力学与过渡态
- 题目
- 94
- 通过
- 92
- 评分检查项
- 2349 / 2362
榜单对比
四个评测项全部第一
对比成绩取自各榜单论文与公开排行榜。Scientify 在 INCARBench 修复上领先 25 个百分点以上,在 MDArena 和 INCARBench 生成上领先约 10 个百分点。
MDArena v0.2.0
平均正确率
领先第二名
+9.44 pt
- Scientify93.24
- GPT-5.5 XHigh83.80
- GPT-5.5 Medium83.60
- Gemini 3.5 Flash68.40
- Gemini 3.1 Pro64.80
- DeepSeek-V3.259.90
- Qwen3-235B21.40
对比来源:论文 Table 1
INCARBench v1 · 生成
必需参数平均匹配率
领先第二名
+10.86 pt
- Scientify95.04
- GPT-5.4 XHigh84.18
- GPT-5.482.39
- GPT-5.4 No reasoning81.49
- Qwen3.6+ thinking74.82
- Claude Opus 4.674.02
- Gemini 3.1 Pro73.08
- DeepSeek Reasoner70.86
- Claude Sonnet 4.667.74
- DeepSeek Chat65.25
- Llama 4 Maverick63.51
- Claude Haiku 4.561.10
- Qwen3.6+ no-thinking59.85
对比来源:公开排行榜
INCARBench v1 · 修复
修复总分
领先第二名
+25.55 pt
- Scientify99.32
- Claude Haiku 4.573.77
- Gemini 3.1 Pro72.45
- Claude Sonnet 4.671.31
- DeepSeek Reasoner71.16
- GPT-5.470.87
- Qwen3.6+ thinking70.74
- Qwen3.6+ no-thinking69.89
- GPT-5.4 No reasoning69.67
- Claude Opus 4.669.60
- GPT-5.4 XHigh67.68
- DeepSeek Chat66.59
- Llama 4 Maverick65.95
对比来源:公开排行榜
CompMat-Bench v1.0.0 · 单步
94 题通过率
领先第二名
+6.38 pt
- Scientify97.87
- Codex GPT-5.691.49
- GPT-5.6-sol90.43
- Gemini 3.8 Flash89.36
- DeepSeek V4.1 Flash65.96
对比来源:论文
题目示例
每个榜单抽一道题,原题和答案都可以下载
下面三道题分别来自三个榜单。下载原题,对照 Scientify 提交的答案,可以自己检查每一步。
MDArena · 难题
从 168 ns 轨迹计算 6NQ0 通道的 Na⁺ 电导
给定膜蛋白通道 6NQ0 的分子动力学轨迹,按原始分析流程识别 Na⁺ 从胞质门控区穿过选择性滤器的完整渗透事件,计算电流与电导。
Scientify 从 180 个 Na⁺ 中筛出 167 个进入孔道的候选离子,逐帧跟踪状态,找到 5 次完整渗透事件并给出每次的进出时间,算得 −750 mV 下电导为 6.36 pS。两套独立实现的分析在离子编号、事件时间和电导上完全一致。
- 轨迹
- 1681 帧 · 168 ns
- 渗透事件
- 5 次
- 电导
- 6.36 pS
- 得分
- 满分
INCARBench · 修复 · L3
找回 NiO 被删掉的自旋极化和 DFT+U
NiO 是典型的强关联反铁磁氧化物。题目给出的静态自洽草稿把 ISPIN 设成 1,并且没有任何 DFT+U 设置,算出来会是错误的非磁性金属。
Scientify 恢复了自旋极化,为 Ni 设置初始磁矩,在 Ni 的 d 轨道上加 Hubbard U,补上 LMAXMIX 与 LASPH,同时保留草稿中本来正确的四面体积分、截断能和静态计算设置。
- 难度
- L3
- 材料类别
- 强关联氧化物
- 关键修复
- ISPIN · MAGMOM · LDAU
- 得分
- 满分
CompMat-Bench · 单步
从蒙特卡洛扫描数据求 CrN 的奈尔温度
CrN 是双层反铁磁体。题目给出 VAMPIRE 的输入与一组温度、三个随机种子下的蒙特卡洛观测量,但不提供软件本身,要求求出归一化交错磁化强度曲线和奈尔温度。
Scientify 根据输入卡片和手册确定磁子晶格与输出列的对应关系,构造反铁磁序参量并对三个种子求平均,得到完整的温度曲线,提取出奈尔温度 282.5 K,通过官方评分程序的全部检查。
- 软件
- VAMPIRE
- 奈尔温度
- 282.5 K
- 评分检查
- 2 / 2
- 得分
- 满分
逐题得分
912 道题的得分逐条公开
表格列出每道题所属的榜单、版本、子集、题目编号、难度和得分,可以按题目编号对照各榜单的原始题目。
把你的计算化学课题交给 Scientify
云电脑已预装 GROMACS、LAMMPS、OpenMM、AmberTools 等分子模拟软件,需要 GPU 时由智能体按需租用。描述研究目标,Scientify 会准备输入、运行计算并分析结果。