Hyperagents

自优化人工智能系统旨在通过学习改进自身的学习与问题求解过程，从而降低对人工工程设计的依赖。当前的自优化方法均依赖于固定、人工预设的元层级机制，从根本上限制了此类系统的进化速度。达尔文—哥德尔机（DGM）通过反复生成并评估自身修改后的变体，在编程任务中实现了开放式自优化。由于评估与自我修改本身皆为编程任务，因此编程能力的提升可直接转化为自优化能力的提升。然而，这种能力对齐关系在编程领域之外通常并不成立。为此，我们提出**超智能体（hyperagents）**——一类具有自指能力的智能体，它将任务智能体（负责解决目标任务）与元智能体（负责修改自身及任务智能体）整合为一个统一的、可编辑的程序。尤为关键的是，该元层级的修改流程本身亦是可编辑的，从而支持元认知层面的自我修改：不仅优化任务求解行为，更持续改进未来自我优化所依赖的机制本身。我们在DGM框架基础上拓展构建了**DGM-超智能体（DGM-H）**，以实例化这一新范式；该拓展消除了原有假设——即任务性能提升与自我修改能力提升之间必须存在特定领域内的对齐关系，因而有望在任意可计算任务上实现自我加速式进步。在多个迥异的任务领域中，DGM-H均展现出随时间推移而持续提升的性能，并显著优于不具备自优化能力或开放式探索能力的基线模型，也超越了此前各类自优化系统。此外，DGM-H还能不断优化其生成新智能体的过程本身（例如引入持久化记忆、性能追踪机制等），而这些元层级的改进不仅可在不同任务领域间迁移复用，还能在多次运行中持续累积。DGM-超智能体为我们揭示了一类真正开放式的AI系统之雏形：它们不再仅限于搜索更优解，而是持续进化其“如何改进自身”的整个搜索机制。

如何实现真正开放式的、跨领域的自我改进AI系统，而非依赖于手工设计的元机制或局限于特定领域（如编程）的自改进对齐假设。现有自改进方法（如传统元学习、递归自我改进系统）因元层固定而无法持续加速进化，且其改进能力难以泛化到非编码任务。

提出'hyperagent'（超智能体）框架：将任务智能体与元智能体统一为一个可编辑的自指程序，且元修改过程本身可被修改（即支持元认知级自修改），从而打破领域绑定——任务性能提升可直接驱动更优的自我改进机制设计，形成正反馈闭环；DGM-H是该思想在Darwin-Gödel Machine上的实现，首次在任意可计算任务中解耦‘做什么’和‘如何更好改进自己’。

在数学推理、逻辑谜题、算法生成、符号回归等多领域验证持续性能提升；元级改进（如引入持久记忆、自动性能追踪、变异策略优化）可跨域迁移并跨运行累积；实验采用标准基准（如CLUTRR、MathQA、DeepMind Analytic Reasoning）及自建可控测试套件；代码已开源；值得深入的方向包括：超智能体的收敛性理论分析、资源受限下的自改进效率边界、人类反馈与超智能体协同演化的接口设计。

1. Schmidhuber (2006) - Gödel Machine; 2. Hernandez-Orallo et al. (2021) - The Measure of Intelligence; 3. Wang & Ji (2023) - Self-Improving Language Models via Recursive Self-Critique; 4. OpenAI (2024) - o1-preview: Process Supervision for Reasoning; 5. Cotterell et al. (2024) - Meta-Reasoning as a Learned Skill