花粉乐分享平台宣传视频
> 乐学堂 > > 复旦邱锡鹏:最新版MOSS在中文能力上已超ChatGPT
复旦邱锡鹏:最新版MOSS在中文能力上已超ChatGPT
来源:上观新闻
2023-07-21 17:16:41
219
管理

今年2月,复旦大学发布了类ChatGPT的对话式大模型MOSS,两个月后MOSS正式开源,成为国内首个插件增强的开源对话语言模型。在7月7月举行的2023世界人工智能大会“大模型时代的通用人工智能产业发展机遇以及风险”分论坛上,复旦大学MOSS系统负责人邱锡鹏围绕“技术、实现与展望”分享了MOSS的最新研发进展。

邱锡鹏表示,近年来,AI领域的模型规模越来越大,几乎每6个月模型规模就翻一番,以10倍为量级增长。今年,随着ChatGPT走入全球视野,大语言模型的热度持续升温。但究竟多大才算“大语言模型”?学界目前并没有确切定论,只能说大约在百亿规模到万亿规模间,主要因为ChatGPT并未开源,也尚未对外公布其最新版参数。

但在人工智能研究领域,ChatGPT仍旧为学术研究提供了非常大的希望。“最初的AI大部分是‘弱人工智能’,就连AlphaGO也基本只能干下棋这一件事。” 邱锡鹏说。而AGI,即通用人工智能,是几乎所有人工智能研究者的愿景。

被寄予厚望的ChatGPT发展速度确实很快。从2018年OpenAI公司发布第一版ChatGPT,到2020年训练出ChatGPT 3,再到历经2年迭代后迎来ChatGPT4这一革命性产品,历时不过4、5年时间。

视线回到国内。邱锡鹏介绍,复旦对大模型的研究起步较早,在Transformer架构以及中文预训练模型的研发上有了比较丰富的积累。“ChatGPT出现后,很多人觉得国内和国外在大语言模型方面的差距正在拉大,但其实我们研发出MOSS后,证明并非只有OpenAI才能研发出对话式大模型,MOSS基本能通过我们的理解复现ChatGPT的能力。”

MOSS的基础架构为Transformer,第一版诞生于今年1月,具有和ChatGPT相同的内容,即“用户说什么MOSS都可以接话”,但在任务完成度上与ChatGPT尚存在差距。特别是在推理能力和知识能力上,第一代MOSS的判断容相对量小,“很多事实会记不住。”为此, 复旦团队一方面持续扩大MOSS的模型规模,提高其整体能力,另一方面尝试将MOSS作为使用工具进行开发。

今年2月,复旦正式发布对话模型MOSS后,将一部分研发精力放在如何把使用工具的能力打通,于是在4月推出了开源插件版模型MOSS-Plugin。“目前MOSS还在持续迭代,如最新版MOSS已经能够在中文能力上基本超过ChatGPT。”邱锡鹏说。

大语言模型除了“聊天”,还具备哪些用途?邱锡鹏介绍,在具体的行业应用中,通过使用插件,大语言模型可自主搜集新闻和实时信息进行汇总,成为得力的个人助理。大语言模型还可进行数学运算,或者列一个方程让计算器来解答。此外,MOSS在预防“有害道德”方面也进行了优化,会避免回答有悖道德的问题,让人工智能具备较强的道德感。“大型语言模型的一大亮点,就是能把外来需求或复杂任务进行拆分,找到不同的工具来解决问题。”邱锡鹏说。

“大模型不能只有大公司才能‘玩得起’,高校、学生和普通爱好者都应该‘玩得起’大模型。”邱锡鹏表示,仅靠头部公司“砸钱”研发大模型,并不能助推该领域健康有序发展,因为大语言模型中涉及许多科学问题和学科类问题需要解决,在实现复杂推理、高效架构、知识融合和制定学习策略方面,有许多问题需要学术团队和广泛的研究者来支撑。

围绕MOSS,复旦团队将持续展开大模型方面的研究,涵盖能力强化、知识对齐、模态融合和开源开放等领域。目前,复旦MOSS团队正通过参与大型语言模型生态建设,在未来实现集对话模型、模型微调、AIGT检测、模型对比和模型评测等于一体的开源开放平台。

栏目主编:唐烨 题图来源:2023世界人工智能大会

来源:作者:舒抒

花粉社群VIP加油站

1
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与花粉乐分享无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
凡本网注明 “来源:XXX(非花粉乐分享)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。
如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。
QQ:2443165046 邮箱:info@hflfx.com
关于作者
花粉cc(花粉渠道)
文章
514
主题
0
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行
随手拍
54个圈友 0个话题
华为手机随手拍,记录生活点滴之美好
华为P30pro
51个圈友 0个话题
这里是华为P30pro手机交流圈,欢迎华为P30pro用户进群交流
体验官
60个圈友 2个话题
华为花粉体验官,体验官专属的交流群
登录后查看您创建的圈子
登录后查看您创建的圈子
所有圈子
猜你喜欢
杭州互联网违法和不良信息举报平台 网络110报警服务 浙ICP备17046585号
1
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索