近期，OpenAI 传出即将发布 GPT-4 的消息。据业内人士分析，升级版的 GPT 模型在技术上会有更大的提升，能够准确执行更接近人类能力的任务。

具体来讲，GPT-4 将拥有更多的参数，以便使用少量样本去处理多项任务。

回顾预训练语言模型 GPT 的发展历史可以发现。2018 年，OpenAI 在论文《通过预训练语言模型提升语言理解能力》（Improving Language Understanding by Generative Pre-Training）中提出了GPT-1 [1]。

图 | GPT-3 相关论文（来源：OpenAI）

增加参数，用较少样本执行更多任务

在 GPT 模型不断更新的过程中，网络结构和方法都没有本质上的变化。但是，参数和数据集却在不断增多。

从规模来看，相较于 GPT-2 的 15 亿个参数，GPT-3 模型拥有 1750 亿个参数，增加了 100 多倍。

（来源：Pixabay）

模型规模的增大不仅体现在数量上，而且还带来了质的飞跃。GPT-3 不仅可以用自然语言生成网页，还可以模仿人类行为、写定制的诗歌或歌曲等，并曾被《麻省理工科技评论》评为“2021 全球十大突破性技术”（TR10）之一。

基于此可以推测出，OpenAI 将延续这一趋势，进一步强化规模最大化理论，扩大 GPT 模型的规模，或许在即将推出的 GTP-4 中增加参数。

同时，GPT-4 不仅可以更精确地模拟人类的行为，而且使用成本也比从前低得多。

据悉，GPT-3 模型的学习能力随着模型中参数数量的增加而增强。因此，GPT-3 在机器翻译、回答问题和填空等 NLP 任务执行方面表现出色。然而，在没有经过事先训练的任务中，GPT-3 的执行能力一般。

而更新版的 GPT-4 具有多模态与多参数，可以接受文本、音频、图像、视频输入，更擅长通过训练强化学习，不断优化数据和计算能力，能够用较少的样本执行更多的任务。

不用提示，GPT-4也能准确完成任务

GPT-3 系统可以使用自然语言与外界交流。例如，外界可以在 GPT-3 系统中输入文字：“以下是关于宇宙的故事，智者正在对小男孩讲述故事。智者乐于助人，了解宇宙学和天文学的相关知识。”

通过从句子中获得的信息，GPT-3 会自动对故事进行续讲。

GPT-4 具有更大的上下文窗口

虽然 GPT-3 的功能多样，但它的内存极其有限，导致无法获取上下文窗口之外的指令，用户必须重新编写不同的示例。这种限制严重阻碍了用少量样本执行任务的能力。

而 GPT-4 具有更大的上下文窗口，并允许用户向其输入书籍、长篇文章、图像、视频或音频等不同类型与格式的文件，进一步扩大了任务执行的范围。

综上所述，GPT-4 能够更少地依赖外界提示，并对人为错误具有更强的鲁棒性，故是一款功能多样、应用广泛、实用性强的网络模型。

参考资料：

1.https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf

2.https://arxiv.org/pdf/2005.14165.pdf

https://towardsdatascience.com/4-things-gpt-4-will-improve-from-gpt-3-2b1e7a6da49f?sk=44d56e4f1ab27e3f8d2abbaf44ca3602

https://www.hankyung.com/it/article/202211150468i

花粉社群VIP加油站