2

GPT-NeoX-20B 的优势：免费开放

简单来说，GPT-NeoX-20B 是一个包含 200 亿参数、预训练、通用、自回归大规模语言模型。

如果你不知道是什么，想想 OpenAI 的 GPT-3，它是近两年前震惊世界的大型语言模型，语言能力神通广大，包括编写计算机代码、创作诗歌、生成风格难以区分的带有权威语气的假新闻，甚至给它一个标题、一句话，它就可以生成一篇文章，因为它可以根据很少的输入信息自行「创作」，而且创作出来的东西还可以文意皆通。（题外话：就像漫威低配版的贾维斯）

必须承认的是，OpenAI 的模型比 EleutherAI 更大，有 1750 亿个参数（模型内部编码信息的节点或数字）。参数越多，模型吸收的信息就越多、越细化，因此模型就越「聪明」。

但 EleutherAI 是世界上同类模型中最大、性能最好的模型，可免费公开获得。

「我们希望更多的安全研究人员能够使用这项技术。」Leahy 说。

此外，EleutherAI 与 OpenAI 在训练大规模模型所需的计算能力上有所不同。

OpenAI 在数量不详的 Nvidia V100 Tensor Core GPU 上训练了 GPT-3。此后，OpenAI 的合作伙伴微软开发了一个用于大型模型训练的单一系统，该系统具有超过 285000 个 CPU 内核、10000 个 GPU，以及每个 GPU 服务器每秒 400 Gb 的网络连接。

这并没有阻止 EleutherAI 在反 GPT-3 垄断上的努力。他们最初使用谷歌提供的硬件作为其 TPU 研究云计划的一部分，构建了一个具有 60 亿个参数的大型语言模型 GPT-J。对于 GPT-NeoX-20B，该小组得到了 CoreWeave 的帮助，CoreWeave 是一家专门针对基于 GPU 的工作负载的云服务提供商。

虽然 OpenAI 号称是人工智能非盈利组织，但目前来看，其本质还是由科技公司主导开发的私有模型。

EleutherAI 的数学家和人工智能研究员 Stella Biderman 对 IEEE Spectrum 表示：

「这些私有模型限制了我们这种独立的科研人员权限，如果我们不了解它的工作原理，科学家、伦理学家、整个社会就无法就这项技术应该如何融入我们的生活进行必要的对话。」

EleutherAI 的工作促进了对大型语言模型的可解释性、安全性和伦理的研究，受到外界肯定。

机器学习安全领域的主要人物 Nicholas Carlini 在最近的一篇论文中表示：「如果没有 EleutherAI 完全公开发布 The Pile 数据集及其 GPT-Neo 系列模型，我们的研究是不可能实现的。」Pile 数据集是一个 825 GB 的英文文本语料库，用于训练大规模语言模型。

3

开放模型访问权限是 AI 发展的必要条件

马斯克不只一次发表人工智能比人类强这一观点。他认为人是碳基生物自带上限。而人类进化的速度很明显比不上人工智能，所以人工智能迟早超过人类，这是AI最大的潜在威胁。OpenAI 也是他基于这个考量和其他科技大亨共同创立的。

Leahy 认为 AI 的最大风险不是有人利用它作恶，而是构建一个非常强大的 AI 系统，无人知道如何控制。

他说：「我们必须将人工智能视为不像我们思考的奇怪外星人。」他补充说，「人工智能擅长优化目标，但如果给定一个愚蠢的目标，结果可能是不可预测的。他担心研究人员会在创造越来越强大的人工智能的竞赛中过度自信，在这个过程中偷工减料。」

其实任何志同道合的计算机科学家都可以构建一个大型语言模型，但很难获得合适的硬件来训练大型语言模型，因为这需要非常高的资本投资，而如今只有几百家公司拥有这种硬件。

「我们需要研究这些系统，以了解我们如何控制它们。」EleutherAI的创作初衷正是通过使这种规模的模型易于访问，从而让有兴趣的人们进一步研究人工智能系统的安全使用。

反观 OpenAI，「Open」怕不是只对金钱 Open 吧？

参考资料

1.https://spectrum.ieee.org/eleutherai-openai-not-open-enough

2.https://blog.eleuther.ai/announcing-20b/

3.https://github.com/EleutherAI/The-Pile

4.https://mystic.the-eye.eu/public/AI/models/GPT-NeoX-20B/

5.http://www.caotama.com/1180119.html

雷峰网

花粉社群VIP加油站