花粉乐分享平台宣传视频
> 乐学堂 > > Meta语言大模型遭泄露,无意开启了GPT平替狂潮?
Meta语言大模型遭泄露,无意开启了GPT平替狂潮?
来源:南方都市报
2023-06-27 20:53:33
265
管理

谁能想到,一场泄密事件,竟成了引发“ChatGPT平替”狂潮的开端。

事情的最开端,是在今年2月24日,Meta发布大语言模型LLaMA(中文意为“羊驼”),因其参数量远小于GPT-3,效果却仍能优于后者一度在圈内引起热议。

当然,与近些年的大模型研发趋势一样,虽然Meta声称LLaMA是开源的,但仍需要研究人员申请并进行审核。

但在一周之后,日本论坛4chan(相当于国内贴吧)上却突然出现一条帖子,上传了一个LLaMA模型源代码的种子文件,下载后大小约为219G,瞬间一石激起千层浪,下载量很快超越千次。

更有戏剧性的是,这个种子链接还被合并到了LLaMA的官方GitHub页面,甚至还得到了部分项目维护者的批准,真的可以“点击即用”。此后,4chan上还有用户为那些希望自主部署该模型的人提供了详细教程,说明了如何获得模型,如何添加修改后的模型,如何进行更有效的推理等等。

对此,Meta官方在3月6日称,仍将继续向通过审核的研究人员给予LLaMA官方通道,同时,也开始着手控制LLaMA泄露源代码的传播。之后,开源AI平台Hugging Face的CEO就曾站出来表示,禁止用户上传LLaMA泄露源代码。

但接下来,这场“史诗级泄露事件”的火,却烧到了令人意想不到的方向——

3月15日,斯坦福发布语言大模型Alpaca,模型由LLaMA微调而来,仅用了52k数据,其性能约等于GPT-3.5,且训练成本还不到600美元。

3月23日,AI公司Nebuly开源了基于LLaMA的模型ChatLLama,允许用户基于预训练的LLaMA模型构建个性化的ChatGPT服务,且训练速度更快,成本更低。

3月29日,加州大学伯克利分校在其Colossal-AI项目下发布了ColossalChat,这一模型通过RLHF(一种强化学习方式,类似于奖励机制),基于LLaMA预训练模型提供了ChatGPT服务。

同天,AI公司Age of AI推出了语言模型FreedomGPT,其基于斯坦福的Alpaca进行开发,号称是去掉了安全、伦理道德过滤器的ChatGPT版本。

3月31日,加州大学伯克利分校、卡内基梅隆大学、斯坦福大学和加州大学圣地亚哥分校的研究人员开源了语言模型Vicuna,这是一个与GPT-4性能相近的LLama的微调版本,训练成本仅有300美元。

4月3日,伯克利的伯克利人工智能研究院(BAIR)发布了 Koala,这一模型同样是一种微调过的LLama版本,在超过一半的情况下与ChatGPT性能相当。

大批LLaMA类研发的推出与LLaMA模型的源代码泄露到底有无直接关系,不得而知。但无论如何,以LLaMA模型“被迫”开源为关键时间点,基于它开发的模型与服务,开始了爆炸式的增长。

有趣的是,似乎是为了呼应最初Meta家的LLaMA模型的一种含义“大羊驼”,之后斯坦福选择了相似含义的Alpaca(羊驼),之后又出现了Vicuna(小羊驼)……对此,有人调侃,再开发下去,“羊驼家族”的名字都快不够用了。

对此,有人笑称这场泄露事件促进了大批ChatGPT式服务的产生,甚至促进了AI民主化,可谓大功一件;也有人表示最初的泄露本就是Meta的“自导自演”,为的是最大限度地扩大其技术影响力;还有人认为,这场泄露事件背后也有当前大模型领域中开源VS闭源(或通过API进行分发)的两条道路之争……

争论不断,热议纷纷。当前,LLaMA项目已在GitHub收获17.4k星,而基于它所诞生的“羊驼家族”,还在一路狂奔。

编译/综合:南都记者杨博雯

花粉社群VIP加油站

1
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与花粉乐分享无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
凡本网注明 “来源:XXX(非花粉乐分享)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。
如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。
QQ:2443165046 邮箱:info@hflfx.com
关于作者
萤火虫不发光..(花粉指导)
文章
528
主题
0
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行
随手拍
54个圈友 0个话题
华为手机随手拍,记录生活点滴之美好
华为P30pro
51个圈友 0个话题
这里是华为P30pro手机交流圈,欢迎华为P30pro用户进群交流
体验官
60个圈友 2个话题
华为花粉体验官,体验官专属的交流群
登录后查看您创建的圈子
登录后查看您创建的圈子
所有圈子
猜你喜欢
杭州互联网违法和不良信息举报平台 网络110报警服务 浙ICP备17046585号
1
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索