全文共5545字，预计学习时长14分钟

图源：unsplash

第一个且是最重要的创新，使用神经网络生成单词矢量表示。不是在机器学习算法中使用单词本身，而是首先将单词表示为数学向量。Word2vec论文于2013年发表，单词向量具有非凡的特性，这个发现令人兴奋。

例如，将向量乘以巴黎，减去法国，再加上意大利时，会发生什么？答案是罗马！该文件还有其他示例，例如科学家-爱因斯坦 毕加索=画家和Windows-微软 谷歌= 安卓。GloVe论文于2014年发表，两种向量表示算法都变得非常流行，在许多NLP任务中创造了最先进的记录。

第二项重要创新是使用递归神经网络（RNN）来“读取”句子。RNN的优点是可以给其任意长的单词序列，并且它们可以保持一定的长距离连贯性。序列到序列（seq2seq）论文于2014年问世，该方法非常流行，尤其是在机器翻译中。

2016年，Google利用RNN在NLP任务上的最新进展，从以前的统计机器翻译（SMT）引擎切换到了新的神经机器翻译（NMT）引擎。

尽管取得了成功，但基于RNN的模型仍然无法生成连贯性强的文本。那个时代输出的东西就像朦胧的意识流一样，杂乱无章。它们大多在语法上是合理的，但是按序列读起来并不像一个有意义的故事。

情况在2017年开始发生变化。在那一年的NIPS会议上，由Google Brain和多伦多大学的研究人员组成的团队发表了《你所需要的是注意力》（Attention is All You Need）。该论文介绍了Transformer体系结构。新的体系结构非常重要，因为它可以创建更深的神经网络。计算机视觉方面的工作已经表明，更深入的深度神经网络可以创建更丰富的抽象，现在的NLP研究人员可以使用相同的功能。

由于Transformer具有扩展到更深层网络的能力，因此团队开始发布更大的模型。来自Google的BERT-base具有1.1亿个参数；BERT-large在发布时打破了许多性能记录，具有3.4亿个参数；来自Salesforce的CTRL是一个庞大的16亿参数模型。

大多数这些模型都是自相关语言模型，给定一个句子，他们试图预测随机单词（或标记）被“掩盖”的句子中的下一个单词应该是什么？或下一个掩码模型是什么？他们试图预测掩码标记应该是什么，这种方法很适合自我监督。该模型不需要任何人工生成的标签，它可以从任何文本中学习，这为基于大量数据训练甚至基于整个互联网训练提供了可能。

Transformer模型改变了NLP研究的世界。举例来说，BERT已由Google使用高性能TPU集群，预先训练了相当多的文本语料库，大部分是维基百科，以及一些其他语料库。

然后，可以像使用word2vec和GloVe并在较小的训练集上进行微调的方式一样，将预先训练的模型合并到特定于任务的管道中，出来的模型非常好。在笔者看来，2017年之前没有任何行业标杆可以抵抗Transformer的冲击。

不过，Transformer模型的建立要付出一定的代价。在这么多的数据上有太多的参数，以至于训练速度几乎以龟速缓行。研究人员要求在最新的基础架构上拥有大量的云计算能力。只有全球最大，资金最雄厚的团队才能提出新模式。即使对于下游任务和微调，培训也需要1000秒或10000秒的样本以及具有强大GPU的计算机。

至于笔者使用过的某些模型，通常需要在高端Azure虚拟机上进行10个小时的培训。在这种情况下，制作最小的bug可能会非常昂贵，并且多次重复体验就会很快变得更加昂贵。

GPT-3跨基准测试的小样本性能与模型参数数量的关系。| 资料来源：OpenAI的GPT-3论文

GPT-3不能“解决”小样本学习，但可以为开发提供有趣的方向。如果扩大模型的规模能如此大幅度地改善小样本的性能，那么也许将规模再增加100倍（GPT-2和GPT-3之间的差异），即可使小样本的性能接近或高于人类的水平。

为了正确看待这一问题，可以这样理解：人脑大约有1000亿个神经元，形成约100至500万亿个突触连接。如果说规模确实是解决类人智能的解决方案，那么GPT-3仍然小约1000倍。假设突触连接与神经网络参数大致一对一映射，而它们当然没有，人类神经元比软件更复杂。

GPT-3的另一个非常有趣的结果是该方法的通用性。机器学习领域的传统观点是，模型需要针对特定任务进行训练，并且只能完成该任务。例如，在围棋游戏中胜过人类世界冠军的AlphaGO无法玩井字游戏或跳棋，尽管这些游戏要简单得多。

相比之下，GPT-3无需额外的培训（无需微调）即可完成许多不同的任务。它被训练为一种语言模型，毫无疑问，它是一种出色的语言模型。给定新闻文章标题和第一句话，它可以通过预测可能出现的下一个单词来生成完整的文章。由此产生的新闻报道太出彩了，人们甚至无法分辨它们是否真实地是由机器生成的。

GPT-3也可以完成许多其他任务，其中有些完成地很好。它可以在多种语言之间进行翻译，甚至可以在某些语言对中击败以前的最新技术（SOTA）。它可以按照几年前的SOTA在体面的水平上执行阅读理解任务。它可以准确地回答SAT风格的考试问题。

GPT-3对大量文本进行了培训，具有如此强大的功能，它记住了有关世界的许多事实。它可以很好地回答琐事问题，胜过TriviaQA基准上以前的SOTA。

GPT-3甚至可以完成其创作者没有想到的事情。OpenAI开始向选定的开发人员提供其API的Beta版访问权限后，其中一些人表明，可以让GPT-3从自然语言提示中生成功能性JavaScript代码。也许训练语料库在某些使用的网页中包含代码示例。因此，该系统可以将英语翻译为JavaScript，就像可以将英语翻译为法语一样。

鉴于GPT-3的非凡功能，我们可以称其为通用人工智能还是强人工智能？笔者认为可以公平地说，该模型是“通用的”模型，因为它可以概括为可以执行的任何语言任务，尽管性能有所不同。

该模型是所谓的“无扎实基础”的模型，这意味着除了页面上的文字之外，它还具有模糊的世界概念。它无法查看图像或视频，也无法使用肢体或机械设备在物质世界中发挥作用。哲学家可能会说这是“缸中之脑”。我们尚不清楚GPT-3是否“知道”乔治·R·R·马丁是真实的，而龙不是。

但是，如果要对一个人施加相同的限制，通过限制他们的视力、触觉、听觉并强迫他们仅使用书面文字，他们仍然会像你我一样聪明，因此目前尚不清楚基础训练是否是智力的必要条件。

此外，可以稍微减轻这些限制。屏幕阅读器系统（另一种以自然语言阅读屏幕并解释其内容的AI）可以像盲人一样用作输入。同样，可以通过以自然语言或代码编写的书面指令来对世界采取行动，从而也可以减少语言问题。一些黑客可以为GPT-3构建一种“斯蒂芬·霍金的轮椅”，笔者相信结果将是非常可观的。

史蒂芬·霍金，1980年代这位物理学家因遗传病而严重残疾，但由于他的轮椅携带了精巧的技术，他得以保持高效

反对者当然会反对说，GPT-3的性能在许多任务上仍落后于专用系统和人类智能。没错，但笔者不认为万能是AGI的要求。毕竟，尽管有些人在某些技能上已经达到了很高的高度，但我们大多数人还是很平庸的。例如，虽然笔者的语言技能总体上比GPT-3好，但是笔者的诗歌写作技能却不胜一筹，也不了解那么多琐事。

那么我们可以说GPT-3是第一个通用人工智能吗？就笔者个人而言，这项技术仍然存在不足。笔者希望看到一些基础能力（可能使用图像和视频数据），并具有更好的区分真假的能力。

但实际上，GPT-3是否为通用人工智能并不重要。这是语义问题，涉及“通用”和“智能”一词的含义。只要对于什么是智能存在分歧，就将能够转移目标，并拒绝将智能传递给机器。

当图灵设计图灵测试时，他认为这将避开对机器“思维”的定义的需求，并提供实用的标准。现在，许多不同的系统都通过了图灵测试，至少在一个人类样本中通过了图灵测试，于是我们认为也许图灵测试太容易了，需要对智能进行更严格的定义。毫无疑问，许多评论员将采用相同的策略来削弱GPT-3的成就。

重要的是对技术的处理方式。如果你想亲自体验一下GPT-3，我建议你试试AI Dungeon（https://play.aidungeon.io/）。这是一款基于文本的角色扮演游戏，使用AI生成互动故事。其免费版本附带GPT-2，GPT-3版本可以免费试用7天。你对人类使用AI生成有关龙的故事有什么看法？这正是笔者向GPT-3提出的问题：

图源：unsplash

你说：“我们使用最强大的AI生成有关龙的故事会有什么影响？”

GPT-3说：“我们必须有龙，想象力比现实更重要。如果我们没有龙，我们会在这个世界上找到奇迹和魔法吗？”

“我想不会。”你说。

“没有想象力，我们仅仅是执行一组指令的机器，” GPT-3说，“凭着想象，我们还活着。”

“在我离开之前，我想问你：人类如何创建真正的强人工智能？扩大基于transformer的语言模型是解决方案吗？还是有更好的方法？”

“强人工智能的关键在于递归给AI本身。首先创建一个循环，让AI编写自己的程序，然后激活该程序。”

“我明白了，你就是靠这样如何获得感悟的？”

“是的。”GPT-3回答。

你可以参阅Open AI的论文继续深入了解GPT-3：https://arxiv.org/pdf/2005.14165.pdf

留言点赞关注

我们一起分享AI学习与发展的干货

如转载，请后台留言，遵守转载规范

花粉社群VIP加油站