花粉乐分享平台宣传视频
> 乐学堂 > > 1780亿个参数,这个语言模型的诞生只为挑战王者GPT-3?
1780亿个参数,这个语言模型的诞生只为挑战王者GPT-3?
来源:新智元
2023-04-11 12:42:15
165
管理

来源:AI21 Labs

编辑:Priscilla 好困

【新智元导读】最近,AI21 Labs正计划发布一个比GPT-3更大的模型,名叫「Jurassic-1」,可以识别25万个词条,参数达到1780亿个!目的是要挑战自问世以来就占领了NLP主导地位的GPT-3,Jurassic-1究竟实力如何?一起来看看吧。

有人要胆敢挑战GPT-3垄断地位!

GPT-3自问世以来就成为了最大的AI语言模型之一。

不仅可以写电邮、写文章、创建网站、甚至是生成用于Python深度学习的代码。

最近,一个名叫「侏罗纪」模型号称可以打败GPT-3。

究竟是谁这么有勇气,居然敢如此叫嚣?

不是侏罗纪公园的恐龙!是Jurassic-1 Jumbo,还在公测的语言模型!

现在还可以免费体验:https://studio.ai21.com/playground

根据新闻内容给新闻分类

同时,开发者还可以训练自己的Jurassic-1模型,甚至只需要50-100个训练实例。

训练完成之后,就可以通过AI21 Studio使用这个自定义模型。

但是Jurassic-1也一样面临其它语言模型的「痛点」:对于性别、种族和宗教的偏见。

由于模型训练数据集中或多或少都会存在偏见,训练出来的模型也会跟着「学坏」。

有研究人员指出,GPT-3等类似的语言模型生成的文本可能会激化极右翼极端主义意识形态和行为。

Jurassic模型的输出面临预设场景问题

针对这一点,AI2 Labs就在限制可以在公测中生成的文本数量,打算手动审查每个微调模型。

不过就算是经过微调的模型也难以摆脱训练过程中「染上的恶习」。

就像Open AI的Codex,还是一样会生成种族主义或者其它令人反感的可执行代码。

虽然是以色列的研究人员开发的,但大概是受训练数据集的影响,Jurassic-1似乎对犹太人的歧视比GPT-3还更重一些。

在偏见与歧视这个问题上,各个模型都是「五十步笑百步」。

不过AI21 Labs的工程师则表示,Jurassic-1模型的偏见比GPT-3少那么一丢丢。

参考资料:

https://www.ai21.com/blog/ai21-studio-use-cases

花粉社群VIP加油站

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与花粉乐分享无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
凡本网注明 “来源:XXX(非花粉乐分享)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。
如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。
QQ:2443165046 邮箱:info@hflfx.com
关于作者
Mole(蜂界传说)
文章
497
主题
0
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行
随手拍
54个圈友 0个话题
华为手机随手拍,记录生活点滴之美好
华为P30pro
51个圈友 0个话题
这里是华为P30pro手机交流圈,欢迎华为P30pro用户进群交流
体验官
60个圈友 2个话题
华为花粉体验官,体验官专属的交流群
登录后查看您创建的圈子
登录后查看您创建的圈子
所有圈子
猜你喜欢
杭州互联网违法和不良信息举报平台 网络110报警服务 浙ICP备17046585号
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索