Language Models Are Capable of Metacognitive Monitoring and Control of Their Internal Activations

大型语言模型（LLMs）有时能够报告它们实际用于解决任务的策略，但有时也会失败。这表明它们具备一定程度的元认知能力——即监控自身认知过程以进行后续报告和自我控制的能力。元认知能力增强了人工智能的功能，但也引发了安全问题，因为模型可能会隐藏其内部过程，以规避基于神经激活设计的监督机制，而这些机制旨在检测有害行为。鉴于社会对这些模型的依赖日益增加，理解其元认知能力的局限性至关重要，特别是它们监控自身内部激活的能力。为了解决这一问题，我们引入了一种受神经科学启发的神经反馈范式，旨在量化LLMs明确报告和控制其激活模式的能力。通过向模型提供句子-标签对，其中标签对应于句子在神经表征空间中特定方向上引发的内部激活，我们证明了LLMs可以学习报告和控制这些激活。性能受多个因素影响：提供的示例对数量、目标神经方向的语义可解释性以及该方向所解释的方差。这些结果揭示了一个“元认知空间”，其维度远低于模型的神经空间，表明LLMs只能监控其神经机制的一部分。我们的研究结果为量化LLMs的元认知能力提供了实证依据，并对人工智能的安全性产生了重要影响。

该论文试图研究大型语言模型（LLMs）的元认知能力，特别是它们监测和报告自身内部激活模式的能力。这是一个相对较新的问题，涉及对AI安全性和透明性的深入理解。

论文提出了一种受神经科学启发的神经反馈范式，通过向模型提供句子-标签对，让模型学习报告和控制特定方向上的内部激活。这种方法揭示了LLMs具有一定的元认知能力，但其‘元认知空间’维度远低于模型的整体神经空间，表明LLMs只能监控部分内部机制。相比现有研究，这篇论文首次量化了LLMs的元认知能力，并探索了影响这种能力的因素。

实验设计包括使用不同数量的示例对、语义解释性以及目标神经方向的方差解释率来评估模型性能。论文发现，LLMs的元认知能力受这些因素显著影响。此外，研究结果为AI安全性提供了重要启示，例如如何防止模型隐藏有害行为。论文未提及数据集细节或代码开源情况，但提出了未来研究方向，如进一步探索元认知空间的边界及其与模型架构的关系。

近期相关研究包括：1) 探讨LLMs可解释性的论文，如《Interpreting the Inner Workings of Transformer Models》；2) 研究AI安全性的文章，如《Detecting and Preventing Emergent Behaviors in Large Language Models》；3) 关于元学习和自我监督的研究，如《Meta-Learning for Monitoring Cognitive Processes in Neural Networks》。这些研究共同构成了理解LLMs内部机制的重要基础。