底池分配的核心逻辑

不用考生实测就知道题难不难：这个AI试题评测框架把考试难度“量化”了 - 德州扑克底池

不用让考生亲自做题就能评估试题难度——这个AI框架将考试难度进行了“量化”。

一道题目对人类来说究竟有多难，能否从大模型解题的步骤中寻得端倪？

由弗吉尼亚理工大学、马里兰大学、MBZUAI以及匹兹堡大学的研究人员共同开发的Epi2Diff，把大模型产出的推理步骤拆解成“认知片段”，并结合题目内容预判人类解题的困难程度。

在SAT数学、SAT阅读与写作、Cambridge和USMLE这四个真实测评数据集上，Epi2Diff在单次主实验的各项指标里均位列首位。其中，SAT数学的难度分类准确率达到73.0%，比最强基准线高出3.2个百分点。

相关研究论文已被机器学习期刊Transactions on Machine Learning Research（TMLR）收录。

研究背景：除了题目语义，解题过程也至关重要

判定新题目的难度，是组卷和题库建设的基础工作。传统教育测量依赖考生答题数据来标定，虽然可靠，但预测试成本较高；而仅仅分析题干的语义，又难以判断解题过程中究竟在哪些环节遇到困难。

Epi2Diff将观察范围扩展到解题过程：模型推理了多长时间、更多是在分析还是执行、是否频繁转换策略？这些可量化的行为为难度预测提供了新的过程信号。

△

需要强调的是，这项研究旨在预测人类面对的题目难度。模型推理轨迹是可大规模获取的替代证据，最终仍通过已有的人类难度标签进行监督，并非直接测量人类认知。

方法设计：将推理轨迹转化为结构化特征

八类认知片段：模型在做什么？

一段推理过程通常包含理解题意、制定策略、执行计算和检查答案等多种活动。研究借鉴了Schoenfeld的解题片段理论和ThinkARM扩展，将推理轨迹逐句归类为八类：阅读、分析、计划、执行、探索、验证、监控和作答。

这些“片段”是句子的功能标签，而非固定的八步解题流程。基于RoBERTa的分类器在ThinkARM的7067句人工标注数学推理测试集上达到79.9%准确率、0.761宏平均F1；在目标领域补充标注评估中，准确率为62.9%—74.2%，表明跨领域自动分类仍存在误差。

83维过程特征：模型如何解题？

Epi2Diff进一步从推理轨迹中提取83维特征：3项长度统计、8类片段的词元数、8类片段的词元占比，以及64种相邻片段转移次数，分别刻画“投入多少”“投入在哪里”以及“过程如何展开”。

例如，两条推理轨迹长度相近、分析与执行占比相似，但一条先集中分析再连续执行，另一条则在分析与执行间频繁切换。转移特征保留了这类顺序差异。

△

实验通过QwQ-32B和Qwen3-32B，在直接作答及标为“弱、中、强”的提示条件下生成推理轨迹，再对特征取平均。这些提示用于诱导不同解题路径，不代表已验证的学生能力等级。

最后，将过程特征与Sentence-BERT得到的题目语义向量拼接，通过监督模型预测难度。四个数据集经验证集选择后，最终均使用XGBoost作为预测器。

实验结果：四类真实测评任务

分类与回归表现

评估涵盖1075道SAT数学题、1338道SAT阅读与写作题、793道Cambridge英语阅读题和667道USMLE医学题。前两项SAT任务预测“简单、中等、困难”三类；后两项预测连续难度值。基线覆盖BERT等小模型微调、LLM零/少样本提示，以及全参数和LoRA微调。

△

SAT数学准确率由最强基线的69.8% 提升至73.0%，宏平均F1由0.705升至0.728。SAT阅读与写作的提升较小：准确率由62.3%升至63.1%，宏平均F1由0.622升至0.626。

回归任务中，Cambridge的RMSE从8.200降至7.612，USMLE从0.298降至0.291；相应R²分别从0.299升至0.396、从0.076升至0.121。

重复实验与结果边界

在补充的五次运行中，两项SAT任务的平均准确率和宏平均F1仍以Epi2Diff最高。但阅读与写作任务的领先幅度小于运行间波动，优势应谨慎解读。重复实验固定了推理轨迹与片段特征，仅改变下游预测器的随机种子。

消融分析：并非推理越长，题目就越难

SAT数学消融结果表明，性能提升并非仅来自推理轨迹长度。仅用题目语义时，宏平均F1为0.607；加入长度特征后为0.671；使用完整表示达到0.728。即使保留其他特征，去掉片段转移信息后也会降至0.676。

△

进一步的顺序打乱实验保留轨迹长度和片段频率，仅改变中间推理句子及标签的排列。原始顺序效果更好，支持局部转换顺序具有预测信息。

在SAT数学中，较难题目还伴随更多中间推演、更高的执行投入，以及更明显的“分析→执行”“执行→执行”“执行→分析”转移信号。不过，这些模式在其他领域复现有限，属于过程关联，不能视为人类认知的直接观测或因果证明。

应用价值：为题库建设提供可解释线索

Epi2Diff尝试将“题目如何被解答”转化为可比较的特征，为新题的难度预评估和人工审题提供辅助线索。实际使用仍需带标签的数据训练、目标人群验证及专家复核。其价值不是取代教育测量，而是为题目难度判断增加一组来自推理过程的证据。

论文标题：Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction

作者：Chenguang Wang*、Ming Li*、Xinyue Zeng、Zhuochun Li、Hong Jiao、Tianyi Zhou、Dawei Zhou（*共同第一作者）

论文链接：https://arxiv.org/abs/2606.28186

项目代码：https://github.com/c-steve-wang/Epi2Diff

本文来自微信公众号“量子位”，作者：Epi2Diff团队，36氪经授权发布。