在1日召开的2021北京智源大会上，北京智源人工智能研究院发布了新版超大规模智能模型“悟道2.0”，这是在今年3月20日发布的“悟道1.0”基础上更新迭代而来，具备大规模、高精度、高效率的特点。

“悟道”模型旨在打造数据和知识双轮驱动的认知智能，让机器像人一样思考，实现“超越图灵测试的机器认知能力”。“悟道”团队在大规模预训练模型研发上做了很多基础性工作，形成了自主的超大规模智能模型技术创新体系，拥有理论、工具、模型构建和测评的完整链条。

“悟道2.0”模型的参数规模达到1.75万亿，是GPT-3的10倍，打破了之前由Google Switch Transformer预训练模型创造的1.6万亿参数记录，是目前中国首个、全球最大的万亿级模型。

Google万亿模型的核⼼技术MoE（Mixture of Experts）与其分布式训练框架和其定制硬件强绑定。“悟道”团队研究并开源的FastMoE是首个支持PyTorch框架的MoE系统，具有简单易用、灵活、高性能等特点，并且支持大规模并行训练。新一代FastMoE，支持Switch、GShard等复杂均衡策略，支持不同专家不同模型，是实现“万亿模型”的关键技术。

“悟道2.0”模型在中英双语共4.9T的高质量大规模清洗数据上进行训练。训练数据包含WuDaoCorpora中的1.2TB中文文本数据、2.5TB中文图文数据，以及Pile数据集的1.2TB英文文本数据。

据介绍，“悟道2.0”在世界公认的9项Benchmark基准测试任务上取得较好的成绩。

花粉社群VIP加油站