来源：lifearchitect

编辑：好困

对于机器学习来说，参数可以算得上算法的关键：它们是历史的输入数据，经过模型训练得来的结果，是模型的一部分。

一般来说，在NLP领域，参数数量和复杂程度之间具有正相关性。而OpenAI的GPT-3则是迄今为止最大的语言模型之一，有1750亿个参数。

那么，GPT-4会是什么样子的？

近日有网友就对GTP-4及其「开源版」GPT-NeoX进行了大胆的预测。

GPT-3使用的数据集

GPT-Neo和GPT-J

今年3月，Eleuther AI在Github上推出了GPT-Neo开源项目，可以在Colab上进行微调。

虽然GPT-Neo与GPT-3比，参数量仍然很小（1.3B和2.7B），但开源又免费，仍然得到了「同性好友们」的认可。

今年6月Eleuther AI再次推出GPT-J-6B，它可以说是GPT-Neo的增强版本，顾名思义，模型的参数量增加到了6B。

GPT-J的训练也是基于The Pile数据库——一个825GB的多样化开源语言建模数据集，由22个较小的、高质量的数据集合组成。

The Pile除了专业论坛和知识库，如HackerNews、Github和Stack Exchange，论文预印本网站ArXiv以外，还包括如Youtube字幕，甚至安然邮件（Enron Emails）语料库。

有网友解答说：「规模确实可以带来改善。因为本质上是一种关系隐喻模型，『了解更多的关系 』意味着能够对更多的事情或以更细微的方式做出反应。当然，这也同时是一个营销的方式。」

参考资料：

https://lifearchitect.com.au/ai/models/#contents

花粉社群VIP加油站