自然语言模型 GPT-3 现已允许开发者进行特别定制。

GPT-3 是由 OpenAI 于去年 5 月推出的有着 1750 亿个参数的 AI 模型，该模型可以生成类似人类编写的文本和代码。其生成的文本质量之高，让人很难分辨它和真实人类创作之间的区别。

（来源：OpenAI）

经定制后的 GPT-3 可以更好地服务于需要深入了解语言的各种应用，从而在任务和工作负载之间达成更高质量的内容输出。

通过定制 GPT-3，开发者可以使用几乎任何现有数据集，或者根据用户反馈递增地添加数据。数据显示，使用定制后的 GPT-3 模型，有用户的程序输出正确内容的概率可以由 83% 提升到 95%，而有的用户通过每周给产品添加新的数据，减少了 50% 的错误输出。

OpenAI 进一步表示，微调 GPT-3 的好处，只需不到 100 个示例就可以体现出来，并且随着添加数据的增多，其性能也会不断提高。

微调 GPT-3 的方式也很简单快捷，只需要一行代码和一个文件，开发人员就能运行和训练基于特定数据集的自定义版本 GPT-3 模型，无需从头创建自己的 AI 系统，这为他们节省了大量的时间和金钱成本。

今年 3 月，OpenAI 公布了一组数据，“现有成上千万名的开发者在 300 多个不同的应用程序中使用 GPT-3，每天可以产生大约 45 亿个单词。”

OpenAI 还举了几个例子，来说明定制版 GPT-3 功能的具体提升。

例如，客户可以使用经过微调的 GPT-3 分析来自银行对账单的数据，以帮助查找可能免税的费用。

图 | 借助 GPT-3 管理税收（来源：OpenAI）

该客户根据他们产品在现实世界中的表现，每周用新数据微调 GPT-3，重点关注模型低于某一特定性能阈值的示例。该客户声称，其每周使用大概 500 个新的训练示例来微调 GPT-3，微调过程中可产生约 1% 的改善。这虽然听起来改善不多，但随着时间的推移，变化会越来越大。

下面一家公司使用定制版本的 GPT-3 提高了其产品报告的可靠性，并突出显示了客户的请求和问题，对客户反馈情况总结的准确率也从 66% 提高到 90%。

图 | 借助 GPT-3 提供更加个性化的学习体验（来源：OpenAI）

下图展示的是一个 AI 研究助理。该工具可以使用学术论文中的内容直接回答人们提出的研究问题。经过使用定制的 GPT-3 后，其在三个重要维度上得到了提升：结果更易理解（提升 24%）、更准确（提升 17%）和整体更好（提升 33%）。

图 | 借助 GPT-3 解答问题（来源：OpenAI）

而在一个内部实验中，OpenAI 对来自小学数学问题的 8000 个例子（数据集来自 OpenAI 的“Grade School Math problems”）微调了两种大小的 GPT-3（下图中的 Curie 和 Davinci）。

OpenAI 声称，经过微调的模型在测试同一数据集的问题时，其准确度提高了一倍以上，能够正确回答类似这样的问题：卡拉需要在中午之前干洗 80 件衣服。如果她早上 8 点开始工作，每小时需要清洗多少件衣服?

图 | 两种不同大小 GPT-3 模型在回答数学问题时的对比（来源：OpenAI）

“我们在开发 GPT-3 的 API 时，非常注重一件事，就是让那些即便没有机器学习背景的开发人员也可以访问使用它。”OpenAI 说，“我们希望利用 GPT-3 的易访问性，获得更多样化的用户群，使得他们可以将更多的问题转化为技术。”

需要注意的是，此次新增的微调能力还可以让用户节省 GPT-3 的使用费用。因为与之前 GPT-3 模型相比，具备可微调定制化的 GPT-3 可以让客户获得更高频率的高质量输出。

据了解，OpenAI 根据 GPT-3 模型生成的标记或单词的数量对 API 访问收费。虽然 OpenAI 对微调模型征收额外费用，但更高频率的高质量输出让访问费用较以前降低不少，所以用户的总成本反而是减少了的。

最后，OpenAI 还提到，“由于 AI 的加速推动，到 2024 年，80% 的技术产品和服务将由非技术专业人士开发。这之中，专门定制的 AI 工作负载会发挥一定作用。”

“我们正在不断寻找改善用户体验的方法，使人们更容易获得足够优良的结果，来用于生产高质量应用程序。而微调是使 AI 模型更加符合特定数据的一种方法。”

-End-

参考：

https://openai.com/blog/customized-gpt3/https://venturebeat.com/2021/12/14/openai-begins-allowing-customers-to-fine-tune-gpt-3/

花粉社群VIP加油站