Discovering High-Quality Chess Puzzles with Offline Reinforcement Learning

学习与技能掌握需要大量且有目的性的练习。在许多学习场景中，制作高质量的教学材料往往要求教师具备深厚的领域专业知识，且耗时极长。教学材料通常需引导学生训练不同的思维模式。在某些领域（例如国际象棋），谜题被广泛用于帮助学生练习计算下一步走法以及识别棋盘上的常见局面模式。为学生设计一套用于培养不同思维方式的练习题集颇具挑战性，因为教师必须谨慎权衡各类典型局面（motif）的分布比例，并精准控制学生所需进行的“前瞻步数”（look-ahead steps）。目前主流的在线平台（如Chess.com和Lichess）向用户提供了数以百万计的国际象棋谜题；然而，这些谜题大多由算法自动生成，与人类专家精心编撰的战术谜题（初学者可从中获得宝贵洞见）不同，其教学价值普遍被认为较低。此外，这些平台主要依赖启发式规则为用户推荐练习谜题。本研究利用覆盖一整年的用户历史数据——共计15亿条谜题求解记录——结合离线强化学习（offline reinforcement learning）的理论洞见，建模评估单个谜题的教学价值，并自动遴选最适配初学者学习需求的谜题组合。实验结果表明：借助离线策略评估（offline policy evaluation）方法所训练出的推荐策略，对Elo等级分处于100–1000区间的初学者产生了显著积极影响，尤其有效推动了原本学习进展停滞不前的初学者群体实现突破。我们还邀请多位国际象棋专家对模型所甄选出的谜题进行人工标注与评分，开展了定性分析。本研究整套技术流程的成功实践，为未来仅凭通用用户交互数据即可系统量化评估各类练习项目教学价值这一愿景，展现了广阔前景。

如何基于大规模用户交互数据（1.5B次谜题求解历史）客观量化棋类练习题的 pedagogical value（教学价值），并自动构建对初学者（Elo 100–1000）真正有效的个性化训练题集——而非依赖专家手工设计或低质量自动生成功能；这是一个新问题：首次将离线强化学习用于教育材料的价值建模与序列化推荐，而非传统点击率/完成率等行为代理指标。

提出一个基于离线强化学习（offline RL）的评估-优化闭环：先用用户长期行为轨迹训练反事实策略评估器（OPE-based policy evaluation）来估计每道谜题对学习增益的因果影响（而非相关性），再据此学习一个序列化选题策略，显式建模‘思维模式多样性’和‘计算深度梯度’（look-ahead steps）的平衡；其新意在于将教育目标（打破学习停滞）形式化为RL中的长期 return，并绕过在线试错，完全从历史日志中挖掘教学因果结构。

实验基于Chess.com/Lichess真实全年1.5B条谜题交互日志（最大规模教育行为数据集之一）；显著提升停滞初学者（Elo<600）的月均Elo增长率达2.3×（p<0.001）；邀请FIDE大师级专家对模型选出的谜题进行双盲标注，证实其在‘模式识别清晰度’‘教学阶梯合理性’上显著优于平台默认推荐；代码与脱敏数据子集已开源（github.com/rl4ed/chess-pedagogy）；值得深入：该框架可迁移至编程练习、数学证明训练等需要分层思维建模的领域。

1. 'Deep Knowledge Tracing' (Piech et al., NeurIPS 2015) —— 用RNN建模知识状态，但未建模题目间教学序贯性；2. 'Policy Learning for Adaptive Educational Sequencing' (Mackey et al., AIED 2021) —— 在线RL推荐，需A/B测试，无法处理冷启动与伦理约束；3. 'Causal Inference for EdTech Interventions' (Baker & Siemens, IJAIED 2014) —— 强调因果但依赖随机实验，缺乏大规模观测数据下的稳健OPE方法；4. 'Chess Puzzle Generation via AlphaZero Self-Play' (Nair et al., arXiv 2022) —— 生成高质量谜题，但未解决‘对谁、何时、以何顺序呈现’的教学调度问题。