不用考生实测就知道题难不难:这个AI试题评测框架把考试难度“量化”了 - 德州扑克底池
一道试题对人来说有多难,能否从大模型的解题过程中找到线索? 来自 弗吉尼亚理工大学、马里兰大学、MBZUAI 与 匹兹堡大学 的研究团队提出 Epi2Diff :将大模型生成的推理轨迹拆分为“认知片段”,结合题目内容 预测人类作答难度 。 在SAT数学、SAT阅读与写作、Cambridge和USMLE四个真实测评数据集上,Epi2Diff在单次主实验的各项指标中均排名第一。其中,SAT数学难度分类准确率达到 73.0% ,比最强基线高 3.2 个百分点。 相关论文已被机器学习期刊Transactions on Machine Learning Resea
阅读更多






















