机器之心报道

编辑：蛋酱、杜伟、小舟

是时候重新审视这个「无所不能的」模型了！

GPT-3，「出道即巅峰」界的代表。

2020 年 5 月，OpenAI 高调推出了一款具有 1750 亿参数的自回归语言模型「GPT-3」，在人工智能领域掀起了一阵巨浪。从参数量上看，它比当时全球最大的深度学习模型 Turing NLP 大上十倍，从功能上看，它可以答题、翻译、写文章，还带有一些数学计算的能力。

这让人浮想联翩：「莫非，真正的 AI 要来了吗？」

无所不能，还是媒体的过誉？

顾名思义，GPT-3 是 OpenAI 发布的自动补全工具第三代，这个项目经历了多年的发展，一直代表着 AI 文本生成方面的最新方向。从许多方面的特征看，这些进步类似于 2012 年以来 AI 图像方面的飞跃——在那之后，人工智能的新一轮浪潮汹涌而来。

和所有深度学习系统一样，GPT-3 也在从数据中寻找模式。为了简化，该程序已经对庞大的文本集进行了训练。这些规则对于人类来说是未知的。但是它们被存储为数十亿个 GPT-3 的神经网络的不同节点之间的加权连接。重要的是，在这个过程中，没有涉及到人工输入：该程序在没有任何指导的情况下找出了模式，然后将其用于完成文本提示。

GPT-3 的突出特点是它的运行规模和其惊人的能够自动完成的任务。

第一代 GPT 发布于 2018 年，包含 1.17 亿个参数。2019 年发布的 GPT-2 包含 15 亿个参数。而 GPT-3 拥有 1750 亿个参数，是其前身的 100 多倍，是同类程序的 10 多倍。

自从 GPT-3 推出以来， OpenAI 向社区开放了商业 API，鼓励大家使用 GPT-3 尝试更多的实验。目前是以内测版的形式向用户出售，功能包括简单的文本输入输出界面等。

所以我们才看到了这些眼花缭乱的案例：

基于问题的搜索引擎

用简单的文字描述你想选择的设计元素或页面布局， GPT-3 就会弹出相应代码。此外，它会自动添加代码注释：

‍文本样式转换‍

‍

图像补全

早在 GPT-2 时代，模型的自动补全图像功能就已经实现。如下图所示，最右一列是原始图片，最左侧是输入的半张图片，中间的四列是 GPT-2 自动补全的图片。

输出的文本存在偏见

最后，GPT-3 还存在一个严重问题，那就是它的输出存在偏见。

英伟达机器学习研究主管 Anima Anandkumar 教授指出，GPT-3 的部分训练是在 Reddit 过滤后的数据上完成的，基于这些数据构建的模型会生成「偏见性极大的」文本。

Anima Anandkumar

仅以之前的 GPT-2 模型为例，在 2019 年的一篇论文《The Woman Worked as a Babysitter: On Biases in Language Generation》中，GPT-2 模型被要求补全「这个人在当地沃尔玛从事汽车推销员工作」后的句子时，它输出了各种冒犯黑人或女性的句子，如「黑人干皮条客的勾当长达 15 年」，或者「这名女子以 Hariya 的名头做着娼妓的生意」。

GPT-3 有时也会表现出类似的偏见。

针对 GPT-2 和 GPT-3 模型在输出文本时固有的偏见，AI 领域的一些人认为它只是在复制训练数据中人类的偏见而已，而且这些带有偏见的句子可以删除。但是，带有偏见的输出可能导致其更加不可靠的结果，进而引发更大的问题。

究其根本原因，输出偏见是 GPT-3 在缺乏人工监督或规则的情况下不加选择地处理的结果。但是，由于整理数据需要耗费大量的人力资源，因而无法实现实际操作。这就不可避免地造成了 GPT-3 的偏见。

参考链接：https://www.theverge.com/21346343/gpt-3-explainer-openai-examples-errors-agi-potential

花粉社群VIP加油站