花粉乐分享平台宣传视频
> 乐学堂 > > 270亿参数!阿里达摩院推出“中文版GPT-3”,将开源语言体系大部分模型
270亿参数!阿里达摩院推出“中文版GPT-3”,将开源语言体系大部分模型
来源:智东西
2023-04-10 14:46:07
240
管理

智东西(公众号:zhidxcom)

编辑 | 心缘

智东西4月19日报道,今日,阿里巴巴达摩院发布中文社区最大规模预训练语言模型PLUG,其参数规模达270亿。接下来,PLUG将扩大参数规模至2000亿级,并进一步提升文本生成质量。

与PLUG发布同步,达摩院宣布近期将开源阿里巴巴深度语言模型体系大部分重要模型。

PLUG全名为Pre-training for Language Understanding and Generation,集语言理解与生成能力于一身,在小说创作、诗歌生成、智能问答等长文本生成领域表现突出。

该语言模型的目标是通过超大模型的能力,大幅提升中文NLP各类任务的表现,取得超越人类表现的性能。

发布后,PLUG刷新了中文语言理解评测基准CLUE分类榜单历史纪录。

自去年OpenAI发布超大规模预训练语言模型GPT-3引发全球热议后,中文领域同类模型的训练进程备受关注。

与GPT-3类似,阿里达摩院本次发布的PLUG有望广泛应用于文本生成领域,成为“万能写作神器”。

更重要的是,此类超大模型拥有极强的通用性,被认为或将成为AI时代的新型基础设施之一。

相较GPT-3的改进之处在于,PLUG设计了一个简洁的模型框架,集成了达摩院自研的语言理解及语言生成双模型,并通过构建输入文本双向理解能力,显著提升了输出文本的相关性。

在语言理解任务上,PLUG以80.614分刷新了CLUE分类榜单纪录;在语言生成任务上,PLUG多项应用数据较业内最优水平提升了8%以上。

4月19日,PLUG刷新CLUE分类榜单纪录,排名仅次于“人类”

据悉,PLUG采用了1TB以上高质量中文文本训练数据,涵盖新闻、小说、诗歌、问答等广泛类型及领域,其模型训练依托了阿里云EFLOPS高性能AI计算集群。

在超大规模预训练模型领域,除发布以中文为核心的PLUG外,阿里达摩院、阿里云计算平台团队还联合智源研究院、清华大学发布了面向认知的超大规模新型预训练模型“文汇”,以及联合清华大学发布了超大规模多模态预训练模型“M6”。

阿里达摩院语言技术实验室负责人司罗称:“达摩院NLP团队将进一步攻克自然语言处理领域科研难题,完善中文及跨语言人工智能基础设施,让AI没有难懂的语言,并探索通用人工智能之路。”

花粉社群VIP加油站

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与花粉乐分享无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
凡本网注明 “来源:XXX(非花粉乐分享)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。
如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。
QQ:2443165046 邮箱:info@hflfx.com
关于作者
Weirdo(采蜜高手)
文章
544
主题
11
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行
随手拍
54个圈友 0个话题
华为手机随手拍,记录生活点滴之美好
华为P30pro
51个圈友 0个话题
这里是华为P30pro手机交流圈,欢迎华为P30pro用户进群交流
体验官
60个圈友 2个话题
华为花粉体验官,体验官专属的交流群
登录后查看您创建的圈子
登录后查看您创建的圈子
所有圈子
猜你喜欢
杭州互联网违法和不良信息举报平台 网络110报警服务 浙ICP备17046585号
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索