就在刚刚过去的本周二，OpenAI又公布了一项重量级研究成果：用GPT-4解释GPT-2的神经元行为，引起全球吃瓜群众啧啧称奇的同时也不免让人心生好奇，AI不是人类发明的吗，为什么现在需要用AI来解读AI？

OpenAI本周二在官网发布博客文章《语言模型可以解释语言模型中的神经元》（Language models can explain neurons in language models），就表示：

“我们使用GPT-4自动编写大型语言模型中神经元行为的解释，并为这些解释评分。我们发布了GPT-2中每个神经元的这些（不完美的）解释和分数的数据集。”

一篇论文发布，本来不值得称奇；但读过这篇论文的人，却大多不免被OpenAI的奇思异想震撼，头皮发麻。

打从ChatGPT横扫科技圈的那天，就一直有人发问：“到了今天这一步，AI是怎样实现这么强大的功能的？”

为了回答这个问题，OpenAI的做法可以简单的概括为“用黑盒解释黑盒”。而且OpenAI的这次研究成果，倒也不失为后续AI与大模型等相关企业进行研究探索了新的方向，自然意义非凡。

此次对神经元的解释恰如当年的科研工程“人类基因组计划”，辨识基因及其序列对医学，生物学，乃至整个生命科学都产生难以估量的深远影响，实现了破译人类遗传信息的终极目的，而对每个神经元的解释也意味着人类在破解AI奥秘的漫漫长路上又前进了一步。

1 研究的起因

自去年11月ChatGPT上线以来，大语言模型（LLM）就引起了普遍关注，引起关于AI伦理与治理的担忧也日益的水涨船高：“LLM等大模型的能力越来越强，部署和应用的也越来越广泛，但对其内部工作方式的理解，我们仍然知之甚少。”

因为大模型自带“黑盒”性质，外界很难分辨它们的输出结果是否采用了带有某种见不得人的方法，AI幻觉难以根治，“一本正经的胡说八道”也常常导致令人啼笑皆非，哭笑不得的结果，因而了解黑盒内部的工作方式，特别是黑盒的“可解释性”是迫切需要解决的一个重要问题。

通常说来，AI的工作方式可以视为对人类大脑工作方式的逆运用与模仿。而黑盒也在结构上模仿大脑，由海量的神经元组成。比如ChatGPT就是在学习文本的同时观察其中的规律，以及这些规律如何影响最终的结果。因此要想说明“可解释性”就要先了解每个神经元在做什么。

从AI的角度来说，每个神经元都代表着不同的数据以及与之相关的特征，如果神经元数量有限或许可以用人力完成，但是如今大模型的神经网络包含的参数动辄百亿千亿，而且还在不断进化发展，再依靠人力明显是痴人说梦。

那么OpenAI用GPT-4解释GPT-2的神经元行为也就不难理解了，对此官方表示“我们用GPT-4为GPT-2中的神经元行为自动编写解释，并为这些解释打分。”GPT-2首发于2019年2月，神经元约30万个，参数量约15亿。

2 实际表现与引起的反响

此次的解释过程可分为三步：

1.给GPT-4一个GPT-2已有的神经元，由GPT-4展示相关的文本序列和激活情况，产生一个对此类行为的解释；

未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！

公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。

花粉社群VIP加油站