领域 ALL
特色 ALL
请选择
速览
今日热度
Navier-Stokes lost in translation: Why Lean verification of AI autoformalisation does not guarantee correct natural language proofs
LLM LNJR KR / KRR Neural-Symbolic MTPLD
722
热度
2026年10月06日
自动形式化正日益被用于验证数学文本（包括由人工智能生成的数学文本），例如OpenAI所宣称的关于纳维–斯托克斯方程解发生“爆破”（blow-up）的证明。在此过程中，人工智能系统将自然语言（NL）表述的文本翻译为Lean等形式化语言。一旦完成该翻译，形式化语言所表达的论证即可轻松地通过机械方式加以验证。本文旨在阐明：由于在语义层面实现忠实翻译存在种种困难，这一自动形式化过程实际上无法为原始自然语言论证提供任何可信度保障。特别地，我们指出，为实现语义忠实的翻译而必须解决的数学自然语言文本中的歧义消解问题，在可解性复杂度指数（SCI）层级/算术层级中处于任意高的位置（即SCI = ∞）。因此，非正式地说，实现语义忠实的人工智能自动形式化，其难度高于包括停机问题（其SCI = 1）在内的任何可计算问题。为展示该结论的实际影响，我们列举了若干人工智能在实践中将自然语言命题与证明误译为Lean的实例，这些误译导致自然语言证明与其Lean“验证”之间出现实质性错配，其中就包括OpenAI所宣称的纳维–斯托克斯方程证明。具体而言，我们证明：其所形式化的Lean证明，并不对应于原始自然语言中关于纳维–斯托克斯方程解发生爆破的证明。
许愿开讲
PDF
解读
From cacophony to hierarchy: a principled framework for assessing AI consciousness
AI Safety / AI Ethics EVA Other AI Safety Other AI Other AI Fields
657
热度
2026年09月28日
人工智能是否具有意识，是哲学与计算机科学领域当前最紧迫的前瞻性问题之一；然而，进展却因众多相互竞争、彼此隔膜的理论而严重受阻。将“困难问题”（即主观体验为何存在）与“映射问题”（即主观体验如何与物理系统相关联）区分开来，有助于暂时搁置最深层的形而上学分歧：我们可先承认经验现象随系统组织结构而附随（supervene），进而聚焦于一个更具操作性的问题——这种附随关系究竟发生在哪一精细程度（grain）的描述层面之上。我们在马尔（Marr）提出的分析三层次框架基础上加以拓展，构建了一个基于附随性（supervenience）、粗粒化（coarse-graining）与多重可实现性（multiple realisability）的五层次功能描述体系，依次为：行为层、计算层、内在因果-结构层、有机体层，以及有机体—环境交互层。主流意识理论依据其认定的关键层级被分别置于该层级体系之中；针对每一层级，我们均提出可操作化的实证指标，并据此对当前人工智能系统展开评估。随后，我们引入一个贝叶斯模型，将理论上的可信度（theoretical credence）与指标所呈现的实证证据相结合，综合推断某一系统具备意识能力的整体可信度。在若干示例性评估中，当前大语言模型（LLM）所得出的结论，既取决于理论可信度的初始设定，也取决于对实证证据的解读方式：在不同预设的解读路径与可信度分布下，最终得出的意识可信度估值区间跨度极大，从低于0.01直至约0.8，充分体现出评估结果对前提假设的高度敏感性。最后，各层级上所确立的意识指标，与实现通用智能所需的关键架构特征高度重合，这表明：随着人工智能系统能力持续增强，其作为意识候选者的可能性亦将同步提升。本框架倡导一种结构化的不可知立场（structured agnosticism）：其中，理论预设被明确呈现，可信度随新证据的积累而动态更新，评估结果以概率聚合形式呈现，而非非此即彼的确定性判决。
许愿开讲
PDF
解读
Rethinking Self-Distillation for Multi-Teacher Capability Merging
LLM SFT Other LLM
514
热度
2026年10月03日
将多个从同一基础检查点（base checkpoint）出发训练得到的专家模型能力进行融合，已成为当前前沿语言模型后训练中日益普遍的做法。近期研究趋势表明，多教师在线策略蒸馏（MOPD）在性能上优于传统的离线策略方法。然而，尽管MOPD带来了更高的推理开销与环境交互成本，我们发现其报告的精度提升在很大程度上源于特定的训练设计选择和超参数优化，而非该算法本身固有的优势。我们在两种多教师设定、四种模型及十一个基准任务上开展了一项受控的自蒸馏研究，系统比较了离线策略方法（即监督微调SFT与软标签蒸馏）与混合式教师前缀蒸馏（hybrid teacher-prefix distillation）及MOPD的性能表现。结果表明，这四种方法所达到的精度几乎完全相同。但MOPD所需的训练GPU小时数却是SFT的14.8至23.1倍。此外，我们重新审视了近期发表的四组关于在线策略与离线策略蒸馏的对比实验，发现：当SFT基线模型采用经拒绝采样（rejection sampling）生成的教师轨迹进行训练，并使用独立调优的超参数时，原先报告的在线策略方法优势显著缩小。作为无需额外训练的替代方案，我们还发现，简单的权重合并（weight-merging）方法仅需数分钟CPU时间即可完成合并，便能有效复现各专家模型的能力；不过，其精度会随模型规模减小及任务间干扰加剧而有所下降。总体而言，我们的结果对近期归因于MOPD所取得的性能提升提出了质疑，并建议：通过审慎调优更高效的离线策略基线方法，同样可成为一种切实可行的替代路径。
许愿开讲
PDF
解读
Scaling Verifiable Environments for Long-horizon Work Agents
LLM SFT Agent Agent Eval Benchmarks Autonomous Workflows
404
热度
2026年10月04日
工作智能体需在数字工件上运行，以执行知识密集型的专业任务，因此需要能够支持长周期交互与可信验证的训练环境。然而，人工构建的环境工程开销巨大，严重制约了环境规模的扩展；而现有的合成方法又往往牺牲工作空间的复杂性、真实感或可追溯验证性。为弥合这一鸿沟，我们提出了 WorkForge——一种可扩展的合成框架，旨在基于真实世界资源构建具备可验证性的面向工作智能体的训练环境。该框架从专家工作流出发，首先识别出每一流程所依赖的资源、所需做出的决策以及最终产出的交付物；随后，自动检索相关的真实世界文件，并将其组织成结构化的工作空间。WorkForge 进一步对工作空间进行深度解析，从中提取关于其内容的具体、可检验的事实（factual anchors）；这些事实锚点不仅确定了该工作空间所能支撑的任务类型，还明确定义了各类任务结果的验证方式。由此，WorkForge 直接依据这些事实锚点，自动生成每一项任务的指令说明、求解方案，以及配套的程序化验证器和语义验证器，确保所有验证过程均可回溯至工作空间中可观测、可证实的证据。此外，我们在 40 个专业领域内构建了共计 16,700 个可验证环境，其工作空间整体覆盖 60 种不同类型的文件。经该环境集训练后，Qwen3.5-35B-A3B-Base 模型在 GDPVal 指标上由 45.5 显著提升至 73.6，在 APEX Score 上亦由 5.0 大幅跃升至 21.3；同时，Qwen3.5-27B 模型亦展现出极具竞争力的性能，甚至超越多个强基线模型。我们的系统性分析充分验证了所提方法的有效性，并揭示出该方法在数据规模与交互周期两个维度上均表现出稳定且一致的可扩展性规律。
许愿开讲
PDF
解读
JEPA-Anything: Learning Predictive Models across Different Worlds
AK's Picks Embodied AI and Robotics World Models ML SSLRO AI4S Other AI4S
377
热度
2026年09月17日
世界建模使智能体能够预判行为后果、指导干预操作，并通过与环境的交互进行学习。然而，当前的预测模型仍局限于特定领域：是否存在一种通用的学习原理，能够支撑跨截然不同系统的统一世界建模？本文提出JEPA-Anything——一种基于正交预测分解（Orthogonal Predictive Factorization, OPF）的、与领域无关的建模框架。该框架在联合嵌入式预测架构（Joint-Embedding Predictive Architecture, JEPA）基础上进一步拓展：OPF将潜在预测目标分解为若干互补因子，通过专用通路分别学习各因子，并在统一的预测架构内将其重新组合。我们在七大领域对JEPA-Anything展开系统性评估，涵盖视觉、生物学、临床病程演化、控制任务、分子动力学、物理场建模以及气象预报。实验内容覆盖表征学习、干预效果预测、分布外泛化能力，以及长时程动力学建模等多个维度，具体包括10项严格配对的动力学任务、对逾1000种临床事件的预测、以及在四种不同分子系统上完成的百步分子轨迹推演（100-step molecular rollouts）。相较于结构匹配的JEPA基线模型，JEPA-Anything在全部10项动力学任务中均显著提升各项报告指标；在干预型弹球（Interventional Pong）任务中，其单次干预预测误差降低34.8%。在全部四种分子系统中，JEPA-Anything均取得最低的一步预测误差与百步预测误差。不仅如此，本框架所识别出的、由特定因子主导的生物学干预方案，已在细胞共培养体系、患者来源类器官、肿瘤组织切片及小鼠模型中获得实验验证；其学习到的隐空间轨道模态亦成功复现出开普勒标度律（Keplerian scaling law），拟合所得斜率达−1.4991。上述结果共同表明：一种共通的、因子化的预测原理，可有效支撑异构世界的统一建模，并将世界建模、主动干预与实证驱动的科学发现紧密联结起来。代码开源地址：https://github.com/Gen-Verse/JEPA-Anything
许愿开讲
PDF
解读
ALoDLM: Adaptively Looped Diffusion Language Models
AK's Picks LLM PTSAD Latent Reasoning GenAI Diffusion ML DM LM
323
热度
2026年10月03日
扩散语言模型（DLM）通过并行预测多个词元实现快速生成，但其实际应用仍受限于与同规模自回归（AR）模型相比持续存在的生成质量差距。我们认为，这一差距源于“计算量-预测难度”之间的不匹配：在部分已观测到的序列中，某些待预测词元本身易于推断，而另一些则需要显著更高的计算开销。然而，现有DLM在每次去噪步骤中，对所有待预测位置均施加统一的计算深度。为此，我们提出ALoDLM（Adaptive Latent Diffusion Language Model，自适应隐状态扩散语言模型），以词元自适应的隐状态循环机制取代固定不变的计算分配策略。在每次去噪过程中，ALoDLM迭代地更新隐状态表征，并依据各词元的预测难度动态分配计算资源：对于已具备足够置信度、可确定输出的词元，将其以离散化形式反馈为上下文；而对于尚未充分收敛的词元，则保留其当前隐状态，并通过额外的循环迭代进一步精炼。为联合学习词元预测与计算资源分配策略，我们将逐词元的计算调度建模为隐变量，并推导出一种条件负证据下界（Conditional Negative Evidence Lower Bound, NELBO）作为优化目标。我们在1.7B和8B两种参数规模上训练了ALoDLM。在涵盖十一项基准任务的全面评估中，ALoDLM在两个规模下均超越了所有参与对比的扩散模型以及对应规模的自回归基线模型，在平均基准得分上表现最优。此外，ALoDLM仍保持快速的并行解码能力，在经优化的推理引擎支持下，其在生成质量与推理效率之间的权衡表现，优于所有参与对比的自回归模型与扩散模型。
许愿开讲
PDF
解读
H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning
Embodied AI and Robotics World Models Task Decomposition ML RL SSLRO
264
热度
2026年10月05日
利用潜在世界模型进行长时程规划，需要在不同时间尺度和抽象层级之间进行推理。现有的、任务无关的JEPA（联合嵌入预测架构）世界模型，要么仅在单一时间尺度上进行预测与规划，要么虽支持多时间跨度，却仍共享同一个潜在空间。我们提出H-JEPA——一种端到端训练分层化动作条件JEPA模型的完整方案：该分层结构中，每一层级均在其各自学习所得的潜在空间中，预测更远期的状态演化。规划过程采用自顶向下的方式进行：顶层负责优化朝向最终目标的整体进展；而每一层级所生成的预测结果，则作为其下一层级规划器的子目标。当数据中蕴含的因素以显著分离的时间尺度演化时，高层级会主动舍弃快速变化且难以预测的细节，仅保留与任务相关、演化较慢的状态信息。在四个模拟的导航与操作环境中，分层式规划性能均优于扁平化（单层）JEPA模型；尤其在Visual AntMaze任务中，采用三层分层结构后，任务成功率从18%大幅提升至73%，同时所消耗的规划器计算资源反而更低。消融实验表明，上述性能提升主要归因于两方面：一是时间维度上的分解能力，二是高层级所生成的目标表征更具语义抽象性与任务导向性。此外，在逆动力学监督（inverse-dynamics supervision）下，该方法可拓展至DROID数据集中的多种真实机器人视频，同样展现出分层结构在降低规划器计算开销的同时，显著提升离线规划保真度的优势。
许愿开讲
PDF
解读
CrystalJev: thinking fast and slow with atomistic foundation models for materials discovery
ML INF AI4S IMMPP
190
热度
2026年10月04日
原子级基础模型虽能筛选数以百万计的假想材料，却常被当作运行缓慢的模拟器来使用，其经阈值筛选得到的能量值也被直接采信。然而，它们更适合作为快速决策工具来使用。CrystalJev 每次仅对一个未经结构弛豫的晶体结构调用一次冻结的原子间势函数，即可回答各类结构化问题，并输出经校准的概率、有限样本下的理论保证，以及一条明确的“何时应转为慢速思考”的判定规则。在涵盖 65 个 Matbench Discovery 模型的广泛评估中，“稳定”这一二元判断本质上实为一种隐含概率，其具体取值由模型自身的预测误差及候选材料总体的统计分布共同决定。模型一旦训练完成，单次前向传播即可实现接近结构弛豫精度的判别效果，而计算成本仅为后者的约三十分之一；同时，基于信息价值（value-of-information）的理论框架可智能引导：仅当慢速计算确实可能改变最终决策时，才启动该步骤。同一模型层即可统一回答电子结构、力学性能与分子性质等多类问题。在一项已预先注册的前瞻性验证实验中，研究者针对 700 个全新体系开展了密度泛函理论（DFT）计算；结果表明，仅利用既有数据完成校准的单次前向传播预测，在估计未见候选材料中稳定相占比（真实值为 5.8%）时，其高估幅度最大不超过 2.1 个百分点。
许愿开讲
PDF
解读
Base Models Can Reason By Taking a Cue From Training Data
LLM RLHF CoT AI Safety / AI Ethics AVAR
182
热度
2026年10月05日
本文中，我们研究了训练数据如何在基础模型响应开头的词元（tokens）与后续的推理行为之间建立关联。 首先，我们证明：若固定某些特定的起始词元提示（cues），基础模型在数学与编程任务上的表现即可媲美其经强化学习（RL）训练后的对应版本。例如，“.\n\nOkay”这一提示可将Olmo-3-7B模型在MATH-500基准上的pass@1准确率从42%提升至78%；而“Alright,”则可使Qwen3-14B模型的相应准确率从72%升至87%。 其次，强化学习训练会显著提高这些提示词元出现的概率；而若人为固定使用这些提示，则能在很大程度上复现强化学习相对于基础模型所获得的性能增益。 第三，我们将不同词元提示所引发的推理效应溯源至训练数据本身。我们通过因果性数据干预实验，成功将任意一个普通词汇（如“chicken”）转化为有效的推理提示，或消除某一既有提示的实际效果。类似的数据编辑操作甚至能使提示指令“Think duck duck goose”（“思考鸭子、鸭子、鹅”）在激发推理能力方面与经典提示“Think step by step”（“逐步思考”）同样有效。此外，我们还发现：不同提示所诱导出的隐状态表征，与训练语料中不同类型文档的分布呈现出显著相关性。 最后，我们进一步拓展对词元提示的研究，以大语言模型的安全性为案例展开分析，发现不同提示会诱发截然不同的拒绝响应与服从行为，而这些行为模式恰恰分别对应于训练数据中不同类型的内容（例如安全对齐数据与常规指令遵循数据）。
许愿开讲
PDF
解读
LoGRA: Scaling LLM Reinforcement Learning with Low-Rank Gradient Sketches
LLM RLHF ML RL PGPO
168
热度
2026年10月05日
强化学习已极大提升了大语言模型的能力，但其高昂的内存开销仍是阻碍其更广泛应用的主要瓶颈。本文提出 LoGRA——一种面向强化学习的后训练方法，通过在低秩梯度草图（low-rank gradient sketches）中保留关键的学习信号，显著降低内存占用。这些紧凑的表示形式既支持模型参数更新，又可实现高效的策略同步。为避免更新幅度过大而破坏学习稳定性，我们在梯度压缩的基础上进一步引入“预测 KL 步长控制”（predicted-KL step control）机制：该机制在每次参数更新前预先估计策略分布的变化程度，并据此动态调整更新步长的大小。综合运用上述全部技术后，LoGRA 在各类推理任务上平均降低了高达 45.7% 的训练内存消耗，且未对模型性能造成任何损害。此外，LoGRA 还使得一个 270 亿参数的大模型能够在单台配备八块 GPU 的服务器节点上稳定训练超过 1100 步；相比之下，采用全量参数优化器 Adam 的标准训练方式在此配置下会因显存不足而失败。由此，原本因内存限制而无法开展的强化学习训练任务变得切实可行。相关代码已开源，详见 Molt 库中的 \href{https://github.com/skzhang1/labs-molt/tree/logra/examples/scripts/logra}{LoGRA 示例目录}。
许愿开讲
PDF
解读