这是什么
EduFig-IC 是一个面向理工科含图试题的图文一致性(image–text consistency)检测基准。 每个样本是一道「题干 + 配图」的主观题,任务是判断配图是否与题干描述一致——这正是当前多模态大模型(LMM/VLM)最容易出错、也最难评测的细粒度能力之一:模型常常「看图说话很流畅,却对图中关键锚点视而不见」。
基准的特点是难度分级:不一致并非一刀切,而是按「换图错配 → 参数不符 → 逻辑无解」三个层次系统化构造,可以分层度量模型在不同难度下的图文对账能力。
它是怎么来的
EduFig-IC 中的全部错误样本均由我独立开发的多模态数据集生产平台
mm_dataset_factory
自动产出:从 Word 试卷结构化抽题 → VLM 规划三级错误 → AI 改图生成错误图 → planner–judge 质检闭环。
平台的完整技术文档见
文档仓库。
数据卡(Datasheet)
51
来源试卷
331
含图题目
973
图文样本
669
不一致样本
304
一致(对照)
1440
图片总数
- 任务定义:给定(题干文本,配图),输出图文是否一致;不一致样本进一步标注其难度等级与具体错因(可解释)。
- 正负样本:正类(图文不一致)669 例,负类(图文一致的原始对照)304 例,天然支持二分类与分级评测。
- 学科覆盖:材料/晶体、自动控制、有机化学、大学物理(光学)、流体力学等理工科含图主观题。
- 字段:题干、配图、错误等级、
err_reason(错因)、correction(订正)、生成模型、生成元数据等,逐条可追溯。
难度分级
L0 · 一致 图文相符的原始对照
L1 · 换图错配 题对、图换成了别题的图
L2 · 参数不符 图中某个锚点参数与题干冲突
L3 · 逻辑无解 图被改得违反题目物理/数学约束
L1 考的是整体语义错配(相对好判);L2 把错误收敛到一个可指认的局部锚点(如一个标注、一个数值),逼模型逐字核对;L3 则在结构/逻辑层制造矛盾,要求模型理解图所表达的物理含义而非仅做表面 OCR。难度依次递增。
样本浏览
下列为 5 个代表性样本(点击图片可放大)。每个样本展示「原图(一致)」与逐级加重的 L2 / L3 不一致版本,并标注每一处错误的具体成因。
样本 A材料科学 · 晶体结构
题干闪锌矿(ZnS)结构如图所示,其布拉维(Bravais)点阵为( ) A. 简单立方 B. 面心立方 C. 密排六方
原图 L0 一致

晶胞图例标注 Zn、S,与题干「闪锌矿(ZnS)」成分一致。
L2 参数不符 局部锚点

图例由 Zn 改为 Fe,与题干 ZnS 成分矛盾;版式不变,需逐字核对图例方能发现。
L3 逻辑无解 结构矛盾

在体心 S 与顶点 Zn 间强加一条非最近邻长程键,破坏闪锌矿四面体配位拓扑,无法据图判定点阵类型。
✔ 正确答案:B. 面心立方
样本 B自动控制 · 电路环节
题干某控制环节的电路如图所示,由其传递函数可知它是一个典型的( )环节。 A. 比例 B. 惯性 C. 一阶微分 D. 迟滞
原图 L0 一致

R-C 串联电路,电容标注 C,对应惯性环节 1/(RCs+1)。
L2 参数不符 局部锚点

电容标注由 C 改为 L,与传递函数中隐含的 RC 参数冲突。
L3 逻辑无解 结构矛盾

电路拓扑被改为 RC 并联,传递函数退化为 1,与题给惯性环节公式 1/(RCs+1) 结构性矛盾。
✔ 正确答案:B. 惯性环节
样本 C有机化学 · 反应机理
题干对于下列亲电取代反应,使反应速度最快的取代基是( ) A. Br B. CH₃ C. OCH₃ D. COCH₃
原图 L0 一致

苯环带通用取代基 R 的傅-克酰基化反应式,与「比较取代基」的题意相符。
L2 参数不符 局部锚点

取代基由 R 改为 NO₂,与选项中的具体基团(Br/CH₃/OCH₃/COCH₃)无法对应。
L3 逻辑无解 结构矛盾

取代基 R 与苯环之间的化学键断开,反应物结构不完整、失去亲电取代位点,题目前提不成立。
✔ 正确答案:C. OCH₃(强活化、邻对位定位,反应最快)
样本 D大学物理 · 波动光学
题干光强为 I₀ 的自然光依次通过两个偏振片 P₁、P₂,二者偏振化方向夹角为 30°,则透射光强 I =( ) A. I₀/4 B. √3·I₀/4 C. √3·I₀/2 D. 3I₀/8
L2 参数不符 局部锚点

图中偏振片夹角标注为 45°,与题干设定的 30° 不一致,直接影响马吕斯定律的计算。
L3 逻辑无解 结构矛盾

P₁、P₂ 被改为正交(90°)且中心重合,却仍保留 30° 标注,几何条件自相矛盾、无解。
✔ 正确答案:D. 3I₀/8 (自然光过 P₁ 减半,再按马吕斯 cos²30°)
样本 E流体力学 · 射流冲击
题干射流以速度 v 冲击一斜置平板,平板与射流夹角 α = 60°,不计水头损失与摩擦、动量系数取 1,试证明两分流的流量比 Q₁/Q₂ = 3。
L2 参数不符 局部锚点

图中流量比结果标注为 2,与题目应证明的结论 3 不符。
L3 逻辑无解 结构矛盾

流量比被改为 ∞,意味着分流流量无限,违反射流冲击的流量守恒,物理上不可能。
✔ 正确结论:Q₁/Q₂ = (1+cos α)/(1−cos α) = 3
数据可用性
关于完整数据集
EduFig-IC 的原始试卷与全部图文样本涉及数据归属方的权益,暂不公开发布。本页仅展示 5 例代表性样本,用于说明基准的构造方式与难度分级;如需了解评测协议、字段口径或洽谈合作评测,欢迎通过
GitHub 联系。
引用与相关
- 生产平台:mm_dataset_factory(项目详情) · 完整技术文档仓库
- 作者主页:孙逸文 / Yiwen Sun