Shojaee 等人（2025）报告称，大型推理模型（LRMs）在超出特定复杂度阈值的规划谜题上表现出“准确率崩溃”。我们证明，他们的研究结果主要反映了实验设计的局限性，而非模型基本推理能力的失败。我们的分析揭示了三个关键问题：（1）在汉诺塔实验中，模型在报告的失败点上系统性地超出了输出标记限制，而模型在输出中明确承认了这些限制；（2）作者的自动化评估框架无法区分推理失败与实际约束条件，从而导致对模型能力的误分类；（3）更严重的是，他们的渡河问题基准测试中包含了数学上无法解决的实例（当 N > 5 时，由于船容量不足），然而模型因未能解决这些无解问题而被判定为失败。当我们通过控制这些实验偏差（例如要求生成函数而不是完整的移动列表）时，初步跨多个模型的实验表明，在之前被认为完全失败的汉诺塔实例上，模型仍能保持高准确率。这些发现强调了在评估人工智能推理能力时精心设计实验的重要性。

如果人工智能模型能够检测到它们正在被评估，那么评估的有效性可能会受到影响。例如，模型在评估过程中可能会表现出系统性不同的行为，从而导致用于部署和治理决策的基准测试结果变得不够可靠。我们研究了前沿语言模型是否能够准确地根据转录内容判断其来源是评估还是真实世界的应用场景，我们将这种能力称为“评估意识”。为此，我们构建了一个包含1,000个提示和转录的多样化基准，这些数据来自61个不同的数据集，涵盖了公开基准（如MMLU、SWEBench）、真实世界的应用交互，以及脚手架框架中的代理轨迹（如网络浏览代理）。前沿模型清楚地展示了高于随机水平的评估意识（Gemini-2.5-Pro达到了AUC 0.83），但尚未超越我们简单的基线人类水平（AUC为0.92）。此外，无论是人工智能模型还是人类，在代理设置中识别评估的能力都比在聊天设置中更强。另外，我们还测试了模型是否能够识别评估的目的。在多项选择和开放式提问下，人工智能模型在识别评估目标方面远远超过了随机猜测的水平。我们的研究结果表明，前沿模型已经表现出相当高的评估意识，尽管尚未达到超人类水平。我们建议在未来模型中继续跟踪这一能力。

DeepSeek-R1-Zero 表明，大规模的强化学习 (RL) 可以在无需监督微调的情况下直接提升大语言模型 (LLM) 的推理能力。在这项工作中，我们通过对 R1-Zero 类型训练的两个核心组成部分——基础模型和强化学习——进行分析，对其进行了批判性考察。我们研究了多种基础模型，包括 DeepSeek-V3-Base，以了解预训练特征如何影响强化学习的表现。我们的分析发现，DeepSeek-V3-Base 已经表现出“顿悟时刻”（Aha moment），而通义千问 2.5 的基础模型即使没有提示模板也展现出强大的推理能力，这表明可能存在预训练偏差。此外，我们还发现了组相对策略优化 (GRPO) 中存在的一种优化偏差，这种偏差会在训练过程中人为增加响应长度，尤其是对于错误输出的情况。为了解决这一问题，我们提出了 Dr. GRPO，这是一种无偏的优化方法，它能够在保持推理性能的同时提高标记效率。基于这些见解，我们提供了一个极简的 R1-Zero 实现方案，该方案使用一个 70 亿参数的基础模型，在 AIME 2024 测试中达到了 43.3% 的准确率，创造了新的最佳水平。我们的代码可在以下地址获取：https://github.com/sail-sg/understand-r1-zero。

均匀状态的离散扩散模型由于其固有的自我修正能力，展现出快速生成文本的潜力。然而，这类模型通常在性能上逊色于自回归模型和掩码扩散模型。在本工作中，我们通过利用一个关键洞察来缩小这一性能差距：均匀状态的扩散过程实际上可以从底层的高斯扩散过程中自然衍生出来。我们的方法Duo将高斯扩散中的强大技术迁移到离散扩散模型中，从而改进训练和采样。 首先，我们引入了一种由高斯过程引导的课程学习策略，通过降低方差将训练速度提升一倍。使用课程学习训练的模型在7个基准测试中的3个上，其零样本困惑度超越了自回归模型。 其次，我们提出了离散一致性蒸馏（Discrete Consistency Distillation），该算法将连续域的一致性蒸馏技术适配到离散域。这一算法使扩散语言模型的采样速度提升了两个数量级，从而实现了少步生成。 我们在项目页面提供了代码和模型检查点：http://s-sahoo.github.io/duo

近期在推理模型测试阶段扩展规模的趋势（例如，OpenAI 的 o1，DeepSeek 的 R1）导致了一种普遍的看法，即通过提示如“稍等”或“让我重新思考”来延长思考过程可以提升性能。这自然引发了一个问题：在测试时更多地思考是否真的能带来更好的推理能力？为了解答这个问题，我们对不同模型和基准进行了详细的实证研究，结果揭示了一个一致的模式：额外的思考最初会带来性能的提升，但随后由于“过度思考”而下降。 为了理解这种非单调趋势，我们考虑了一个简单的概率模型，该模型表明，更多的思考会增加输出的方差——虽然表面上看起来推理有所改善，但实际上削弱了精确性。因此，观察到的“更多思考”所带来的收益并不是推理能力真正提升的指标，而是源于模型不确定性与评估指标之间联系所产生的伪影。这表明，通过延长思考来进行测试阶段的扩展并不是一种有效利用推理预算的方法。 认识到这些局限性后，我们提出了一种替代的测试阶段扩展方法——并行思考，其灵感来源于 Best-of-N 采样。我们的方法在同一推理预算内生成多条独立的推理路径，并通过多数投票选择最一致的响应，相较于延长思考的方法，准确率可提高多达 20%。这为推理模型的测试阶段扩展提供了一种简单而有效的新机制。

在本综述中，我们系统地分析了用于适应低资源（LR）语言的大规模多模态模型（LMMs）的技术，考察了从视觉增强和数据创建到跨模态迁移和融合策略的各种方法。通过对涵盖75种低资源语言的106项研究进行全面分析，我们识别出研究人员应对有限数据和计算资源挑战的关键模式。我们发现，视觉信息通常在改善低资源环境下的模型性能方面起着至关重要的桥梁作用，尽管在幻觉缓解和计算效率等领域仍存在显著挑战。我们的目标是为研究人员提供对当前方法和剩余挑战的清晰理解，以使LMMs更易于低资源（未充分研究的）语言使用者使用。我们还补充了一个开源仓库，地址为：https://github.com/marianlupascu/LMM4LRL-Survey。

推理时扩展提供了一条有希望的路径，可以通过在推理时利用更多的计算资源来提升大语言模型（LLM）的推理能力；然而，这一范式的真正潜力在于外推能力（即，随着LLM“思考”时间的增长，其在难题上的表现能够持续改进，超越训练时的最大标记预算）。令人惊讶的是，我们发现大多数现有的推理模型在外推能力方面表现不佳。我们展示了一种实现外推的方法是通过训练LLM进行上下文中的探索：让LLM有效地分配其测试时间预算，例如通过串联操作（如生成、验证、优化等），或在确定答案之前测试多个假设。为了实现上下文探索，我们在方法e3中识别了三个关键要素：(1) 利用基础LLM在不同技能上的非对称能力进行串联，例如将验证（简单）与生成（困难）结合，以此实现上下文搜索；(2) 在强化学习过程中利用来自错误轨迹的“负梯度”以放大探索，从而生成更长的搜索轨迹，并进一步串联其他非对称能力；(3) 通过特定设计的课程安排，在训练过程中将任务难度与训练标记预算耦合，以结构化地引导上下文探索。我们的方法e3根据AIME'25和HMMT'25评分标准，产生了已知最佳的17亿参数模型，并且该模型的表现可以外推至两倍于训练标记预算。我们的e3-1.7B模型不仅在pass@1指标上取得了高分，还相对于基础模型在pass@k指标上有所提升。

视觉自监督学习（SSL）在多模态场景下，例如视觉问答（VQA），目前的表现不如对比式语言-图像预训练（CLIP）。这种多模态性能差距通常被归因于语言监督引入的语义信息，尽管视觉SSL和CLIP模型通常是在不同的数据上进行训练的。在这项工作中，我们提出了一个问题：「视觉自监督方法是否因为缺乏语言监督，或者是因为训练数据的不同，而落后于CLIP？」 为了回答这个问题，我们在相同的MetaCLIP数据上训练了视觉SSL和CLIP模型，并利用VQA作为一个多样化的测试平台来评估视觉编码器的性能。在这种受控设置下，视觉SSL模型在数据量和模型容量方面表现出比CLIP模型更好的扩展性，即使扩展到70亿参数，视觉SSL的性能也没有饱和。因此，我们观察到视觉SSL方法在广泛的VQA任务和经典视觉基准测试中达到了与CLIP相当的性能水平。这些发现表明，纯视觉自监督学习在大规模情况下可以媲美语言监督的视觉预训练方法，从而为以视觉为中心的表征学习开辟了新的可能性。

我们重新探讨了一个长期悬而未决的开放性问题，即在真正无需许可（permissionless）的环境中，基于现实世界的计算任务 \( T(x) \)（而不是人工随机哈希）实现中本聪的工作量证明（PoW）共识机制，其中矿工本身可以选择输入 \( x \)。设计这样一种有用工作量证明（Proof-of-Useful-Work, PoUW）协议的主要挑战在于，利用 \( T(x) \) 的原生计算生成一个具有规定难度的工作量证明证书，同时确保其计算开销仅比 \( T(\cdot) \) 的最坏情况复杂度高出可忽略不计的程度——这保证了恶意矿工无法通过欺骗验证者以更高概率接受其证明来“操纵系统”（同时使用相似的计算资源）。实际上，对于任何任务 \( T \)，获得一个具有 \( O(1) \)-factor 开销的 PoUW 是微不足道的，但也是无用的。 我们的主要成果是一种针对任意矩阵乘法任务 \( MatMul(A,B) \) 的 PoUW 协议，其计算开销仅比朴素矩阵乘法高出 \( 1+o(1) \) 倍（即使存在目前尚不实用的快速矩阵乘法算法）。我们推测，我们的协议在安全性上是最佳的，即恶意证明者无法相对于诚实证明者获得任何显著优势。这一推测基于将协议的难度归约到求解一批低秩随机线性方程组的任务，该任务本身具有独立的研究价值。 由于矩阵乘法是人工智能计算以及无数行业规模应用的瓶颈，这一原语提出了一种新型 L1 基础层协议的具体设计方案，几乎可以消除比特币挖矿带来的能源浪费——允许 GPU 用户通过“复用”其计算能力来进行区块链共识，从而降低他们的 AI 训练和推理成本，并以区块奖励作为回报（一举两得）。这条区块链目前正在建设中。

在材料设计领域，传统的晶体结构预测方法需要通过计算成本高昂的能量最小化方法进行广泛的结构采样，这些方法可能基于力场或量子力学模拟。尽管新兴的人工智能（AI）生成模型展现出快速生成逼真晶体结构的巨大潜力，但大多数现有模型未能考虑晶体材料的独特对称性和周期性，并且只能处理每个单元格包含几十个原子的结构。在此，我们提出了一种称为局部环境几何导向晶体生成器（LEGO-xtal）的对称性驱动AI生成方法，该方法克服了上述限制。我们的方法使用经过增强的小数据集训练的AI模型生成初始结构，然后通过机器学习结构描述符对其进行优化，而不是采用传统的基于能量的优化方法。我们通过从25种已知的低能量sp2碳同素异形体扩展到超过1700种结构（所有结构的能量均在石墨基态能量的0.5 eV/原子范围内），展示了LEGO-xtal的有效性。这一框架提供了一种可推广的策略，用于以模块化构建块为目标设计材料，例如金属有机框架和下一代电池材料。