花粉乐分享平台宣传视频
> 乐学堂 > > 达摩院用128张GPU烧出“中文版GPT-3”,我试了下,原来擅长这个
达摩院用128张GPU烧出“中文版GPT-3”,我试了下,原来擅长这个
来源:量子位
2023-07-04 13:52:23
468
管理

杨净 子豪 发自 凹非寺量子位 报道 | 公众号 QbitAI

首先,请先看一段“正经”的文字:

他笑意中的那份温柔,只想给她好好珍藏,即便这一切不会发生,至少在他的世界里,她是无忧无虑的快乐的。就连他对她的关心,她都不在意了,还有什么不放心的呢?“好,我答应你。不过,如果我们能有个孩子,我一定做个好爸爸。”

桥豆麻袋!!!

这难道不是什么某某天堂、某江文学、某点中文上的小说情节?

竟然擅长的是这个?

接下来,我又进行了一波尝试,调戏一下PLUG的创作实力。

输入「他正要离开」,看它怎么接。

PLUG果然很懂!

,却见他站到了自己身前,一下子拉住了她的手,用一种很奇怪的语调说道:“我的心情很坏,很生气,不过“他看着她,一字一句的说道:“你能不能说的快一点,我不想伤害你。“看着她一脸的冷漠,他的心中微微一酸,但是很快又笑了,温柔的笑了笑:“放心……

帮你解答生活常识,官网给出了贴心(不是)的示例:

程序员脱发用什么洗发水好?

具体来说,整个训练过程分为两个阶段。

第一阶段,以达摩院自研的语言理解模型——StructBERT作为编码器。

简单来说,它是在句子级别和词级别两个层次的训练目标中,加强对语言结构信息的建模,从而提高模型的语法学习能力。

这也使得PLUG具有输入文本双向理解能力,能够生成和输入更相关的内容。

这个过程共训练了300B tokens训练数据。

第二阶段,将这个编码器用于生成模型的初始化,并外挂一个6层、8192个隐藏层节点数的解码器,共计训练了100B tokens的训练数据。

此外,PLUG还能为目标任务做针对性优化。

上一回说到,GPT-3并没有利用微调和梯度更新,而是通过指定任务、展示少量演示,来与模型文本进行交互,完成各种任务。

因此在面对新任务时候,不需要重新收集大量的带标签数据。但不可避免的,生成的效果不足。

比如,犯低级错误就是GPT-3被人诟病比较多的一点。

而PLUG的能力更加全面,既可以实现与GPT-3类似的零样本生成功能,也可以利用下游训练数据微调(finetune)模型,提升特定任务的生成质量。

当然,效果实现的关键,还少不了算力和数据。

PLUG负责人表示,原本计划用128张A100训练120天炼成,不过由于阿里云、算法优化等达摩院多方力量的参与,以及加速手段的有效利用,成功将日程缩短到三分之一。

最后,只烧了35天就达到了这样的效果。

前面也提到,PLUG的参数量达到了270亿,中文训练数据量也达到了1T以上。

在语言理解任务上,PLUG以80.614分刷新了CLUE分类任务榜单记录。

而在语言生成任务上,据团队介绍,其多项应用数据较业内最优水平提升了8%以上。

语言模型体系再添一员大将

如果再把PLUG说成是“中文版GPT-3”,似乎就不太准确了。

耗时3个月、270亿参数规模、一发布就给体验端口……

但与此同时,这些关键词的背后,仍然留给读者一些疑问:

3个月是如何做到的?当前的参数规模是终点吗?为何现阶段就免费开放?

阿里深度语言模型体系负责人永春给出了一一解答。

首先,时间问题。主要有两个方面的原因。

从人力的角度来说,永春没有谈具体的数字,但此次涉及阿里的多个团队群策群力共同完成的,当中的训练时间也就大大缩短。

再加上,阿里以往的自研模型已经产生了更多的业务需求,促成了PLUG的开发,这也是阿里整体技术路线中的一环。

GPT-3的出现,给中国的一些玩家触动很大。

什么时候我们能出个中文版的同类模型?

阿里作为其中之一的企业,利用自身的技术、计算资源的优势,率先给出Demo。

永春表示,希望通过PLUG的发布,建立起与技术同行之间的桥梁。

要知道,GPT-3到目前也还没有做到完全开放。

不过,团队似乎并不担心PLUG发布之后的一些不确定性。(手动狗头)

比如,出现一些低级错误。

反而笑着说,之前GPT-3不也是因为大家吐槽才火的么?丢给技术圈去检验,这些问题都是不可避免的。

而这样的开源开放,正好是这个技术团队的一大底色。

去年,阿里达摩院发布了自研深度语言模型体系,包括6大自研模型。

通用语言模型StructBERT、多模态语言模型StructVBERT、多语言模型VECO、生成式语言模型PALM……他们一直在致力于陆陆续续将模型开源出来。

永春透露,在PLUG发布这段期间,达摩院宣布将开源阿里巴巴语言模型体系部分重要模型,目前正在走流程中。

至于之后的计划,团队表示2000亿级的参数规模正在规划中,并进一步提升文本生成质量。

而在应用领域,他们还将专门针对医疗领域做下游数据训练。

最终目标是希望将这个模型实际落地,提升NLP技术在方方面面的实力,比如能源、通信、司法等。

也诚如阿里达摩院语言技术实验室负责人司罗所说,

达摩院NLP团队将进一步攻克自然语言处理领域科研难题,完善中文及跨语言人工智能基础设施,让AI没有难懂的语言,并探索通用人工智能之路。

对了,PLUG刚刚完成最后一波调控,目前已开放了测试体验接口(仅供学术目的测试,需同意其相关约定)。

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

花粉社群VIP加油站

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与花粉乐分享无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
凡本网注明 “来源:XXX(非花粉乐分享)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。
如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。
QQ:2443165046 邮箱:info@hflfx.com
关于作者
黛安(采蜜高手)
文章
497
主题
0
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行
随手拍
54个圈友 0个话题
华为手机随手拍,记录生活点滴之美好
华为P30pro
51个圈友 0个话题
这里是华为P30pro手机交流圈,欢迎华为P30pro用户进群交流
体验官
60个圈友 2个话题
华为花粉体验官,体验官专属的交流群
登录后查看您创建的圈子
登录后查看您创建的圈子
所有圈子
猜你喜欢
杭州互联网违法和不良信息举报平台 网络110报警服务 浙ICP备17046585号
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索