微软 StudentSim：用个性化学生模拟器在真实学习者之前评估 AI 辅导

概览

• StudentSim 是一个研究系统，用于在真实学习者测试之前评估和改进 AI 导师；它不是产品，未部署在课堂中，也不打算取代教师
• AI 辅导工具需要学生的反馈来改进，但通过人工研究收集反馈速度慢、成本高且难以规模化 
• StudentSim 利用公开可用的、去标识化的学习者记录训练个性化的 AI 学生模拟器，每个学生对应一个适配的模拟器 
• 该工作从两个基于教育学的维度评估模拟器：它们是否像特定学生那样作答，以及它们在收到导师指导后是否会更新 
• 在国际象棋、第二语言英语写作和数学领域，StudentSim 均优于领先的基线方法，并为训练 AI 导师提供了有用的反馈信号 

在研究环境中，团队正在探索 AI 驱动的辅导系统如何帮助解释一道数学题、为写作作业提出修改建议，或引导学习者分析一个国际象棋局面。然而，教学质量不能仅从导师的回答来衡量。导师需要知道指导到达学生之后发生了什么。学生是否纠正了最初的错误？提示是帮助他们推理出答案，还是透露了太多？不同的学生是否需要不同类型的支持？在当今的 AI 导师研究中，回答这些问题通常需要真实的学习者研究。这些研究很有价值，但运行起来缓慢且成本高昂，这使得在快速迭代模型的过程中很难利用学生反馈。

StudentSim 是一个 AI 系统，它创建个体学生的个性化模拟器，建模他们如何回答问题，以及他们的答案在收到导师指导后如何变化。目标是让 AI 导师开发过程中的学生反馈更易获得。这项研究还引入了 StudentSimEval，一个涵盖国际象棋、第二语言英语写作和数学的基准与评估协议。

重要的是，目标不是取代教师或课堂学习。相反，StudentSim 帮助研究人员在研发过程中评估和改进 AI 辅导系统，然后再用真实学习者进行测试。该研究仅使用为研究用途发布的、包含去标识化记录的公开学习者数据集；任何阶段都不使用个人身份信息。 

衡量学生模拟器需要做到什么

构建学生模拟器的一种简单方法是让大型语言模型扮演学习者。例如，提示词可能会说：“你是一个数学有困难的小学生。”模型可以改变语气并表达不确定性。更难的部分是保持学习者真实的能力边界。模型可能用年幼学生的口吻说话，却仍然依赖远超该学生水平的知识和推理能力。对于训练 AI 导师而言，这会产生误导性反馈：导师可能看起来有效，只是因为模拟的学生能力太强。

传统的学生建模方法面临着 另一种局限。知识追踪和行为预测模型建立在真实的学习记录之上，能够估计学生当前的知识、技能和学习习惯。然而，这些模型中的许多并未被设计为接收自然语言的导师指导作为输入。它们可以帮助描述学生做过什么，但并不总能告诉我们学生会对某一种特定的解释、提示或苏格拉底式提问作出怎样的反应。

StudentSim 通过受教育研究启发的两个维度来定义目标。教育者常常区分学习者能独立完成的事情与在支持下能完成的事情。Vygotsky 的最近发展区捕捉了当前独立表现与在指导下表现之间的这一差距。 StudentSim 将这一理念转化为两个评估目标。行为保真度衡量模拟器在留出问题上是否与特定学生 记录的反应相匹配。指导响应性衡量模拟器在阅读导师指导后是否会更新其回应。

这两个目标相辅相成。一个只匹配学生过往行为的模拟器可能对预测有用，但它无法显示教学干预是否有帮助。一个总是遵循导师的模拟器可能回应流畅，但它可能 无法 体现 特定学生的优势、劣势和 可能的错误。AI 导师训练需要这两种信号：学习者的起点，以及指导如何影响学习者的表现。 

从稀疏的学生记录中训练个性化模拟器

StudentSimEval 完全基于公开可用的学习者数据集构建，这些数据集以去标识化记录的形式发布供研究使用。这些记录不包含任何个人身份信息，每个个性化模拟器仅在其所代表的学生的去标识化记录上进行训练。

真实的学生数据在个体层面往往很稀疏。一个学习者可能只贡献 少量 的作文、答案或交互。为每个学生从零开始训练一个单独的模拟器会有过拟合的风险，并且会要求每个模型重新学习该领域的常见模式。 

StudentSim 采用两阶段训练流程。在第一阶段，模型在同一领域许多学生的汇总记录上进行训练。 这一阶段学习常见的回答格式、常见错误，以及学生在接受指导后进行修改的常见方式。 在第二阶段，模型在单个学生自己的记录上进行专门化，从而为该学生生成个性化模拟器。 

评估涵盖三个具有不同响应类型的领域。在国际象棋中，模拟器预测玩家的下一步走法，以及该玩家在指导后可能如何调整。在第二语言英语写作中，它生成带有与学习者匹配的错误模式的作文，并预测教师在反馈后的纠正。在数学中，它预测学生的多项选择答案，以及学生在解释后是否会更新答案。在这些领域中，StudentSimEval 使用相同的原则：在相同的每位学生训练记录和相同的留出评估记录上比较所有方法。 

StudentSim 在三个领域均优于领先的基线。例如，在国际象棋中，StudentSim 达到 0.5150 的行为保真度和 0.9067 的指导响应度。GPT-5.4 分别达到 0.2316 和 0.7186。Maia2 是一个国际象棋专用的人类走法预测模型，达到 0.4535 和 0.2721。这一比较说明了基线家族之间的差异：GPT-5.4 能够响应指导，但不能可靠地匹配特定学生的行为，而 Maia2 更接近地预测人类国际象棋走法，但缺乏自然语言指导路径。

使用模拟反馈来改进 AI 导师

该研究还测试了训练有素的学生模拟器能否为导师优化提供反馈。在一项国际象棋导师强化学习研究中，导师接收一个局面和真实学生之前的错误走法，然后生成指导。在此过程中，学生模拟器自身的参数保持固定，它读取指导并生成修订后的走法。奖励基于从学生之前的走法到模拟器修订走法的走法质量提升，使用 Stockfish 作为独立的国际象棋引擎信号。 

该研究比较了三种条件：没有强化学习的监督微调导师、以 GPT-5.4 作为模拟学生奖励来源训练的导师，以及以 StudentSim 作为奖励来源训练的导师。所有条件使用相同的导师策略、监督起点和 强化学习设置。然后由人类国际象棋专家在不知道条件的情况下评估 导师 响应。 

 StudentSim 奖励在所有报告的维度上产生了评分最高的导师。使用 StudentSim 训练的导师达到 90.5% 的准确率，相比之下，无强化学习基线为 75.7%，GPT-5.4 奖励条件为 71.6%。它在 指导 质量和个性化方面也获得更高评分。这一结果是一个概念验证，表明在真实学习者数据上训练的学生模拟器可以为改进 AI 导师提供有用的反馈。 

展望未来

StudentSim 并未消除教育研究中真实学习者的必要性。人类研究 仍然 对于衡量学习成果、安全性、可用性和课堂适应性至关重要。学生模拟器的作用在开发过程的更早阶段：它们可以帮助研究人员测试导师策略、比较模型，并在转向更昂贵的真实学生研究之前完善训练信号。 

更广泛的方向是构建能够从学生反应中学习的 AI 辅导系统，而不仅仅依赖专家撰写的解释或静态的正确性标签。 StudentSim 展示了一条路径：利用真实学习记录训练个性化模拟器，在独立行为和响应指导两方面评估这些模拟器，并将它们作为可扩展的反馈来源用于辅导系统训练。未来的工作可以将这一方法扩展到更长的学习轨迹、 更多 学科、更丰富的学生画像，以及将模拟反馈与真实学习成果联系起来的研究。 

论文以及 StudentSim 的训练和评估代码（包括 StudentSimEval 协议）已公开可用。

来源

论文

代码

在新标签页中打开

文章 Simulating student learning for better AI tutoring 首次发表于 Microsoft Research。