机器之心报道

机器之心编辑部

这就是 GPT 的「抽象」，和人类的抽象不太一样。

OpenAI 联合创始人 Greg Brockman 也表示，我们迈出了使用 AI 进行自动化对齐研究的重要一步。

具体方法

使用 AI 解释 AI 的方法包括在每个神经元上运行三个步骤：

步骤一：用 GPT-4 生成解释

OpenAI 表示，虽然他们的绝大多数解释得分不高，但他们相信自己现在可以使用 ML 技术来进一步提高他们产生解释的能力。例如，他们发现以下方式有助于提高分数：

OpenAI 表示，他们正在将 GPT-4 编写的对 GPT-2 中的所有 307,200 个神经元的解释的数据集和可视化工具开源。同时，他们还提供了使用 OpenAI API 上公开可用的模型进行解释和评分的代码。他们希望研究界能够开发出新的技术来生成更高分的解释，同时开发出更好的工具来通过解释探索 GPT-2。

他们发现，有超过 1000 个神经元的解释得分至少为 0.8 分，这意味着根据 GPT-4，它们占据了神经元的大部分顶级激活行为。这些得到很好解释的神经元中的大多数都不是很有趣。然而，他们也发现了许多有趣但 GPT-4 并不理解的神经元。OpenAI 希望随着解释的改进，他们可能会迅速发现对模型计算的有趣的定性理解。

以下是一些不同层神经元被激活的例子，更高的层更抽象：

看起来，GPT 理解的概念和人类不太一样？

OpenAI 未来工作

目前，该方法还存在一些局限性，OpenAI 希望在未来的工作中可以解决这些问题：

该方法专注于简短的自然语言解释，但神经元可能具有非常复杂的行为，因而用简洁地语言无法描述；

OpenAI 希望最终自动找到并解释整个神经回路实现复杂的行为，神经元和注意力头一起工作。目前的方法只是将神经元的行为解释为原始文本输入的函数，而没有说明其下游影响。例如，一个在周期（period）上激活的神经元可以指示下一个单词应该以大写字母开头，或者增加句子计数器；

OpenAI 解释了神经元的这种行为，却没有试图解释产生这种行为的机制。这意味着即使是得高分的解释在非分布（out-of-distribution）文本上也可能表现很差，因为它们只是描述了一种相关性；

整个过程算力消耗极大。

最终，OpenAI 希望使用模型来形成、测试和迭代完全一般的假设，就像可解释性研究人员所做的那样。此外，OpenAI 还希望将其最大的模型解释为一种在部署前后检测对齐和安全问题的方法。然而，在这之前，还有很长的路要走。

参考内容：

https://openai.com/research/language-models-can-explain-neurons-in-language-models

https://news.ycombinator.com/item?id=35877402

https://www.reddit.com/r/MachineLearning/comments/13d4b3o/language_models_can_explain_neurons_in_language/

https://techcrunch.com/2023/05/09/openais-new-tool-attempts-to-explain-language-models-behaviors/

花粉社群VIP加油站