作者 | 李峰

策划 | 凌敏

最早人工智能的模型是从 2012 年（AlexNet）问世，模型的深度和广度一直在逐级扩升，龙蜥社区理事单位浪潮信息于 2019 年也发布了大规模预训练模型——源 1.0。日前，浪潮信息 AI 算法研究员李峰带大家了解大模型发展现状和大模型基础知识，交流大模型在产业应用中起到的作用和 AI 服务新态势。本文整理自龙蜥大讲堂第 60 期，以下为本次分享原文。

整体大模型的兴起绕不开一个基础模型结构 Transformer。Transformer 架构相当于是在接受输入之后，在内部进行了一个类似于查表的工作，其中的注意力层之所以叫注意力，最大的作用直白的来看就是可以去学习关系，所谓的注意力就是当我们看到一个东西的时候，对他感兴趣我们就会多看一会儿，对另外一个东西没有兴趣或者对它的兴趣比较低，则对它的关注会更少一点。这种注意力机制就是把所谓关注的程度转换成了一个可衡量的指标，这就是上面说到的注意力。

用这样的一个注意力层可以更好的去学习所有输入之间的一个关系，最后的一个前馈层又对输入的信息进行一个高效的存储和检索。这样的一个模型结构与之前基于 RNN 的模型结构相比不仅是极大地提升了自然语言处理任务的精度，而且在计算性能上也远超 RNN 类的模型。Transformer 结构的提出极大提升了计算效率和资源利用率。可以看到，在模型构建和训练算法的设计过程当中，算力和算法是相辅相成的，二者缺一不可，也就是我们提出的混合架构的一个算法设计。

另外 Transformer 结构之所以能够做大做强，再创辉煌，另一个根本的原因在于互联网上有相当多海量数据可以供模型进行自监督学习，这样才为我们庞大的水库中投入了庞大的数据资源和知识。

正是这些好处奠定了 Transformer 结构作为大模型基础架构的坚实的地位。

浪潮·源 1.0 大规模中文自然语言处理模型有 2457 亿参数，于 2019 年的时候 9 月份发布，在发布之时，凭借参数量登顶了业界规模最大的中文自然语言的单体模型。在这个模型整个构建的时候，最大的一个问题就是数据，数据集从哪来，怎样去构建，包含哪些内容。这里给大家列了一个表来简单阐述，源 1.0 的中文数据集包含了有互联网中文社区近五年的所有数据，以及一些公开数据集、百科、电子书等原始语料，总计超过 800TB。

我们对原始语料做了过滤转换、去重，之后构建了打分模型对所有的样本语料进行高质量和低质量的判定。经过一系列的处理，最终我们得到了 5T 的高质量中文语料数据集，这个语料数据也是目前中文语料当中规模最大，质量最高的语料库。我们的一些合作伙伴也拿我们公开的语料数据进行了一些模型的预训练，也是成功登顶了 CLUE 等测评榜单。

源大模型在整个训练阶段，因为模型结构和模型参数如此巨大，就需要更大规模的算力跟算力优化的能力支持。浪潮信息供给了全球五分之一，中国 50% 的 AI 服务器，并且在 MLPerf 等等这些与 AI 计算相关的比赛和精度优化、计算优化的比赛当中也是获得了非常多的冠军，也连任了 SpecML 的评委的主席，在这些过程当中我们积累下来的 AI 计算和性能优化方面的这些能力也在源 1.0 的训练过程当中被重复的赋能，所以我们的源 1.0 在训练过程当中，有非常强大的 AI 算力支持。

在大模型训练方面，我们采用了 2128 块 GPU，在单个 GPU 上的实际性能和理论性能的比值达到了 45%，远高于 GPT3 和 MT-NLG 等模型的训练过程。对于计算性能的提升会带来非常大的绿色环保的收益以及人力成本、时间成本上的收益。

源 1.0 在中文的自然语言测评的 CLUE 的零样本学习和小样本学习测评当中，获得了业界第一的水平，在智源指数 CUGE 上面的评测也获得了总分第一的成绩。模型除了可比较、可量化的评价标准以外也表现出非常丰富和出色的中文理解和创作能力，后文也有一些基于源 1.0 落地的应用实例，跟合作伙伴一起开发和赋能的相关案例，也会做一个简短的介绍。

我们在 WebQA 和 CMRC 的测评上面也横向比较了当时业界我们国内的一些模型的水平，可以看到在这两个任务上面我们也达到了一个业界高水平的成绩。

大模型带来优异的精度表现和泛化能力，也带来一系列的问题。模型太大，部署起来会比较麻烦，因此我们基于源 1.0 在不同领域上面针对不同的任务构建了一些技能模型。

上图展示我们开源开放的一些工具，在官网上面我们构建的一个 APIExp 的线上测试工具，可以零代码的去实现对应参数 API 的交互和实验。另外，我们也提供了沙箱，通过简单的设置，就可以展示出想要设计的开发应用，在上线之后大概是一个什么样的交互方式和交互的结果。

另外我们做了智能问答系统，在内部的智能客户的机器人上面，问题匹配率也是达到了 92.6%，然后依赖客服机器人去解决问题的成功率达到 65%。整体的应用使用也是有所提升，这一个项目也是获得了今年哈佛商业评论里面鼎革奖的年度技术突破奖。

还有一些比较典型的应用，这个是和我们的开发者，一起来做的一个 PoC 项目，面向数字社区的助理。开发者面向数字社区的工作人员，提供了一款数字助理，通过采用大模型来模拟到居委会进行投诉，或者是进行咨询的居民，然后来模拟他们的对话，并且对工作人员的回答做出一个判断，并且予以评分。通过这样的方式来提高工作人员面对突发情况的应对能力。

在另外一个场景里我们跟香港的浸会大学的教授一起基于大模型自然语言处理能力，开发一种心理辅导的培训机器人。这种也是基于这样的反向思维，让 AI 去承担心理咨询对话当中的求助者的角色，让咨询师根据心理来做求助的患者。

通过这样的方式，我们可以用大模型模拟可能存在问题的输入，通过标准工作者的工作内容去得到相应标准的答案。这其实也是互联网思维的一个非常典型的叫羊毛出在猪身上，我们通过这样的方式，也可以获取非常多标准的数据集和针对应用场景下的标准数据集，有这些数据的情况下，反过来之后，我们再对大模型做微调之后模型就有能力去扮演工作人员的角色，然后对心理咨询的患者直接进行辅导。这样的过程其实就是在 ChatGPT 当中提到的 RLHF 的人环强化学习的一种合理的运用。

本文转载来源：

https://www.infoq.cn/article/KDhdcyKx639AQIfYGQSA

花粉社群VIP加油站