花粉乐分享平台宣传视频
> 乐学堂 > > 1750亿参数,史上最大AI模型GPT-3上线:不仅会写文,答题,还懂数学
1750亿参数,史上最大AI模型GPT-3上线:不仅会写文,答题,还懂数学
来源:机器之心Pro
2023-04-05 17:27:32
204
管理

机器之心报道

机器之心编辑部

时隔一年,OpenAI 放出的预训练语言模型 GPT-3 再次让人刮目相看。

这确定不是报刊记者撰写的短新闻吗?

GPT-3 用实力告诉你答案:不是。

给出标题「联合卫理公会同意这一历史性分裂」和子标题「反对同性恋婚姻的人将创建自己的教派」,GPT-3 生成了上述新闻。

根据 OpenAI 的统计,人类对 GPT-3 175B 模型生成的约 500 词文章的判断准确率为 52%,不过相比于 GPT-3 control 模型(没有语境和不断增加的输出随机性且只具备 1.6 亿参数的模型),GPT-3 175B 生成的文本质量要高得多。果然很暴力啊!

「牙牙学语」,GPT-3 的造句能力

给出一个新单词及其定义,造出一个新句子。难吗?这需要你理解单词的意义及适用语境。OpenAI 研究者测试了 GPT-3 在这一任务上的能力:给出一个不存在的单词(如「Gigamuru」),令 GPT-3 使用它造句。

我们来看 GPT-3 的生成结果:

第一个例子中,原句里有两个并列的动词「was」和「died」,GPT-3 删除系动词「was」,将其修改为正确的句子。

第二个例子中,原句里 likes 后的 ourselves 是 we 的反身代词,而这里 like 这一动作的执行者是 Leslie,因此 likes 后即使要用反身代词,也应该是 himself,而另一个改法是将反身代词改成 we 的宾格 us,即「我们认为 Leslie 喜欢我们」。

Bingo!GPT-3 答对了。

看完 GPT-3 的纠错效果,真是英语老师欣慰,学生惭愧……

GPT-3 还能做计算题?

不止英语老师欣慰,数学老师也跑不了。GPT-3 可以执行简单的计算。

OpenAI 研究人员在以下 10 项任务中测试了 GPT-3 做简单计算的能力,且无需任何任务特定的训练。

这十项任务分别是:两位数加减法、三位数加减法、四位数加减法、五位数加减法、两位数乘法,以及一位数混合运算。

不同模型在所有任务上的性能,以及任务的 SOTA 性能(包括模型规模、训练细节等信息)。

GPT-3 技术解析

近期大量研究工作表明,通过对大量文本进行预训练,并且针对特定任务进行微调,模型的性能可以在许多 NLP 任务以及基准测试中获得显著提升。

最近,OpenAI 团队训练了 GPT-3(这是一个具有 1750 亿参数的自回归语言模型,参数量是之前任何非稀疏语言模型的 10 倍),并在少样本(few-shot)环境下对其性能进行了测试。在所有任务中,GPT-3 无需进行任何额外的梯度更新或微调,完全只通过模型与文本的交互,即可直接应用于特定任务与少样本 demo。

GPT-3 在许多 NLP 数据集上均有出色的性能,包括翻译、问答和内容填充任务,以及多项需要实时推理或域适应的任务,如利用新单词造句或执行三位数运算等。GPT-3 生成的新闻文章足以以假乱真,令人类评估员难以分辨。

不过,GPT-3 也有缺点。该研究团队发现 GPT-3 (few-shot) 在文本合成和多个 NLP 数据集上的性能不够好,还存在一些结构和算法上的缺陷。另一个语言模型大多会有的缺陷「预训练样本效率较低」的问题它也有,GPT-3 在预训练期间阅读的文本比人一生读的还要多。此外,还有可解释性问题等。

预训练方法

OpenAI 团队使用的基础预训练方法包括模型、数据与训练三部分。GPT-3 的训练过程与 GPT-2 类似,但对模型大小、数据集大小与多样性、训练长度都进行了相对直接的扩充。关于语境学习,GPT-3 同样使用了与 GPT-2 类似的方法,不过 GPT-3 研究团队系统地探索了不同的语境学习设定。

OpenAI 团队明确地定义了用于评估 GPT-3 的不同设定,包括 zero-shot、one-shot 和 few-shot。

Fine-Tuning (FT):微调是近几年来最为常用的方法,涉及在期望任务的特定数据集上更新经过预训练模型的权重;

Few-Shot (FS):在该研究中指与 GPT-2 类似的,在推理阶段为模型提供少量任务演示,但不允许更新网络权重的情形;

One-Shot (1S):单样本与小样本类似,不同的是除了对任务的自然语言描述外,仅允许提供一个任务演示;

Zero-Shot (0S):零次样本除了不允许有任何演示外与单样本类似,仅为模型提供用于描述任务的自然语言指示。

GPT-3 的实验结果,似乎验证了 Richard Sutton 去年颇具争议的论断,他在《苦涩的教训》的最后写道:「我们应该从苦涩的教训中学到一点:通用方法非常强大,这类方法会随着算力的增加而继续扩展,搜索和学习似乎正是这样的方法。」

关于 GPT-3 的更多详情,参见论文:https://arxiv.org/abs/2005.14165

花粉社群VIP加油站

2
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与花粉乐分享无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
凡本网注明 “来源:XXX(非花粉乐分享)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。
如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。
QQ:2443165046 邮箱:info@hflfx.com
关于作者
我的果汁分你..(花粉渠道)
文章
1246
主题
50
关注
0
粉丝
1
点击领取今天的签到奖励!
签到排行
随手拍
54个圈友 0个话题
华为手机随手拍,记录生活点滴之美好
华为P30pro
51个圈友 0个话题
这里是华为P30pro手机交流圈,欢迎华为P30pro用户进群交流
体验官
60个圈友 2个话题
华为花粉体验官,体验官专属的交流群
登录后查看您创建的圈子
登录后查看您创建的圈子
所有圈子
猜你喜欢
杭州互联网违法和不良信息举报平台 网络110报警服务 浙ICP备17046585号
2
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索