Do Natural Language Descriptions of Model Activations Convey Privileged Information?

最近的一些可解释性方法提出，使用第二个作为“语言化器”的大语言模型（verbalizer LLM），将大语言模型的内部表征转化为自然语言描述，旨在揭示目标模型如何表示和处理输入信息。但这类激活语言化方法是否真正提供了关于目标模型内部运作的独有知识，还是仅仅传达了有关其输入的信息？我们对先前研究中使用的多个数据集上的主流语言化方法进行了批判性评估，发现这些方法即使完全无法访问目标模型内部状态的情况下，在基准测试中仍能取得良好表现，这表明现有数据集并不适合用于评估语言化方法的有效性。随后，我们开展了一系列受控实验，结果表明，这些语言化描述往往反映的是生成它们的语言化大模型自身的参数化知识，而非被解码的目标大模型的真实激活状态。综合来看，我们的研究结果表明，有必要设计更具针对性的基准测试和严格的实验控制，以严谨地评估语言化方法是否真正能够深入揭示大语言模型的运行机制。

论文试图解决的问题是：当前流行的激活语义化方法（activation verbalization）是否真正揭示了目标大语言模型（LLM）的内部工作机制，还是仅仅反映了输入信息或生成描述所用的‘解释器’LLM自身的知识。这个问题在可解释性研究中至关重要，但此前缺乏严格的验证，因此具有新颖性和重要性。

论文的核心思想是通过控制实验和基准测试分离‘解释器’LLM的知识与目标模型激活之间的贡献。作者发现，许多语义化方法即使在不访问目标模型内部激活的情况下也能在现有基准上表现良好，说明这些方法可能主要反映的是解释器LLM的参数知识而非目标模型的真实内部表征。这一发现挑战了当前可解释性方法的有效性假设。

作者在多个先前工作中使用的数据集上进行了评估，发现无需访问目标模型激活即可达到竞争性性能；设计了受控实验来解耦解释器知识与模型激活的影响；结果表明当前基准存在缺陷，呼吁建立更严谨的评估标准；论文强调了对可解释性方法进行因果验证的重要性；未提及开源代码，但其方法论为未来研究提供了清晰路径。

1. Uncovering Representations in LLM Token Embeddings via Direct Probe Attribution 2. Language Models as Knowledge Bases? Revisiting Entity Representations 3. Towards Interpretable Reasoning on Pre-trained Language Models 4. Faithful Chain-of-Thought Reasoning with Verbalized Internal States 5. Probing and Controlling Black-Box LLMs via Activation Steering