今年2月,复旦大学发布了类ChatGPT的对话式大模型MOSS,两个月后MOSS正式开源,成为国内首个插件增强的开源对话语言模型。在7月7月举行的2023世界人工智能大会“大模型时代的通用人工智能产业发展机遇以及风险”分论坛上,复旦大学MOSS系统负责人邱锡鹏围绕“技术、实现与展望”分享了MOSS的最新研发进展。
邱锡鹏表示,近年来,AI领域的模型规模越来越大,几乎每6个月模型规模就翻一番,以10倍为量级增长。今年,随着ChatGPT走入全球视野,大语言模型的热度持续升温。但究竟多大才算“大语言模型”?学界目前并没有确切定论,只能说大约在百亿规模到万亿规模间,主要因为ChatGPT并未开源,也尚未对外公布其最新版参数。
但在人工智能研究领域,ChatGPT仍旧为学术研究提供了非常大的希望。“最初的AI大部分是‘弱人工智能’,就连AlphaGO也基本只能干下棋这一件事。” 邱锡鹏说。而AGI,即通用人工智能,是几乎所有人工智能研究者的愿景。
被寄予厚望的ChatGPT发展速度确实很快。从2018年OpenAI公司发布第一版ChatGPT,到2020年训练出ChatGPT 3,再到历经2年迭代后迎来ChatGPT4这一革命性产品,历时不过4、5年时间。
视线回到国内。邱锡鹏介绍,复旦对大模型的研究起步较早,在Transformer架构以及中文预训练模型的研发上有了比较丰富的积累。“ChatGPT出现后,很多人觉得国内和国外在大语言模型方面的差距正在拉大,但其实我们研发出MOSS后,证明并非只有OpenAI才能研发出对话式大模型,MOSS基本能通过我们的理解复现ChatGPT的能力。”
MOSS的基础架构为Transformer,第一版诞生于今年1月,具有和ChatGPT相同的内容,即“用户说什么MOSS都可以接话”,但在任务完成度上与ChatGPT尚存在差距。特别是在推理能力和知识能力上,第一代MOSS的判断容相对量小,“很多事实会记不住。”为此, 复旦团队一方面持续扩大MOSS的模型规模,提高其整体能力,另一方面尝试将MOSS作为使用工具进行开发。
今年2月,复旦正式发布对话模型MOSS后,将一部分研发精力放在如何把使用工具的能力打通,于是在4月推出了开源插件版模型MOSS-Plugin。“目前MOSS还在持续迭代,如最新版MOSS已经能够在中文能力上基本超过ChatGPT。”邱锡鹏说。
大语言模型除了“聊天”,还具备哪些用途?邱锡鹏介绍,在具体的行业应用中,通过使用插件,大语言模型可自主搜集新闻和实时信息进行汇总,成为得力的个人助理。大语言模型还可进行数学运算,或者列一个方程让计算器来解答。此外,MOSS在预防“有害道德”方面也进行了优化,会避免回答有悖道德的问题,让人工智能具备较强的道德感。“大型语言模型的一大亮点,就是能把外来需求或复杂任务进行拆分,找到不同的工具来解决问题。”邱锡鹏说。
“大模型不能只有大公司才能‘玩得起’,高校、学生和普通爱好者都应该‘玩得起’大模型。”邱锡鹏表示,仅靠头部公司“砸钱”研发大模型,并不能助推该领域健康有序发展,因为大语言模型中涉及许多科学问题和学科类问题需要解决,在实现复杂推理、高效架构、知识融合和制定学习策略方面,有许多问题需要学术团队和广泛的研究者来支撑。
围绕MOSS,复旦团队将持续展开大模型方面的研究,涵盖能力强化、知识对齐、模态融合和开源开放等领域。目前,复旦MOSS团队正通过参与大型语言模型生态建设,在未来实现集对话模型、模型微调、AIGT检测、模型对比和模型评测等于一体的开源开放平台。
栏目主编:唐烨 题图来源:2023世界人工智能大会
来源:作者:舒抒
花粉社群VIP加油站
猜你喜欢