编辑：LRS 好困

【新智元导读】自己部署一个ChatYuan，再也不用担心网络拥堵了！

前段时间，元语智能开发团队训练了一个类似ChatGPT的功能型对话大模型ChatYuan，并在网页版中开放了试玩接口。

现在你也可以在自己的机器上部署一个ChatYuan了！

项目地址：https://github.com/clue-ai/ChatYuan

2. Huggingface

项目地址：https://modelscope.cn/models/ClueAI/ChatYuan-large

加载模型：

多轮对话数据格式：

三大统一：统一模型框架（text-to-text），统一任务形式（prompt），统一应用方式（zero-shot/few-shot）（T0）大规模预训练：在t5-large版基础上，使用数百G中文语料，训练了100万步，累积训练了1.5万亿个中文字词级别token大规模任务数据：使用了16种任务类型，数百种任务，累积亿级别任务数据混合预训练：一方面将下游任务作为预训练语料，另一方面将下游任务和预训练语料一起训练，减少任务灾难遗忘以及缩短预训练和下游任务的距离，更好的适应下游任务（ExT5）混合采样：针对众多数据量差异极大的任务，采用在每个训练batch内对所有的任务进行按照比例采样，根据任务的数据量进行平滑采样，并且同时限制任务数据量采样池的上限。平滑采样可以减少任务训练有偏危害，在每一batch内训练可以减少异质任务之间训练负迁移的情况（T5）分阶段训练：一方面指在预训练分阶段，涉及训练序列长度的分阶段（128和512），加快预训练速度（Bert）；另一方面，在下游训练分阶段， 涉及学习率和序列长度的变化以及递减式对下游任务的数据量限制，更好的适应下游的不同任务。增加语言模型的训练：参考t5.1.1, 除了使用Span Corrpution构建的方式进行无监督训练，同时在使用prefix LM的方式训练，增强生成任务的能力（LM adapted）增加对模型的encoder以及decoder的训练：根据下游任务数据分别构建Data_text,Data_target预训练数据语料，加入到预训练中，分别增强模型的encoder理解能力和 decoder的生成能力（见UIE）重新构建模型中文字典：使用sentencepiece上在千亿token上学习并构建模型字典，更加符合中文语言习惯

后续工作

目前版本可以进行问答、对话和各种创意性写作或文本生成，相对于线上的版本，它的意图理解和生成能力在一些场合还有比较大的提升空间；它也还不能较好实现推理或复杂的任务。之后，会根据反馈进一步改进现有版本。