花粉乐分享平台宣传视频
> 乐学堂 > > 中国要做GPT-3!昇腾黑科技曝光,2.4倍性能提升释放「算力狂魔」
中国要做GPT-3!昇腾黑科技曝光,2.4倍性能提升释放「算力狂魔」
来源:新智元
2023-04-21 16:32:15
342
管理

编辑:yaxin, 好困

【新智元导读】1750亿参数,GPT-3靠的不仅是算法的提升,还有「算力的加成」。最新MLPerf基准测试中,昇腾基础软硬件平台集群性能同比提升2.4倍!如何释放「算力狂魔」?还要看CANN这三个黑科技。

未来十年,是AI算力的「超摩尔时代」。

要说2020年,AI领域最火的是什么?

毫无疑问是GPT-3,它能写小说、能与人聊天、还能下象棋...... 曾被冠以最「全能」语言模型的称号。

就在6月30日,国际权威AI基准测试MLPerf公布最新一期榜单。

国外,英伟达、谷歌等「算力」大厂的表现,可谓是赚足了眼球。

在国内,鹏城实验室和北京大学联合团队基于华为昇腾AI基础软硬件平台,在MLPerf基准测试中同样取得优异的表现。

测试结果显示,昇腾基础软硬件平台集群性能同比提升2.4倍!

千P「云脑」再进化:给AI硬件插上翅膀

AI计算基准评测组织MLPerf成立于2018年5月,由图灵奖得主大卫·帕特森(David Patterson)发起,学术界和工业界联合制定和推广。

它囊括了AI行业中的70多个知名企业和机构,会员包括华为、谷歌、英特尔、英伟达、微软、脸书等,目的是提供AI软硬件系统的通用Benchmark评测基准。

再看,「Resnet50集群训练的性能」在一年的时间内提高了240%,时间开销仅为0.65min。

先说硬件实力。

硬件便是我们熟知的鹏城实验室与华为共建鹏城云脑Ⅱ。

采用搭载鲲鹏、昇腾处理器的Atlas 900集群,算力为1000P(每秒百亿亿次计算)。

所谓的快速启动,就是把数据分成多个片段,当一段数据载入完毕之后,计算就会开始。

与此同时,后续的数据也还在马不停蹄地载入。

每当一段数据载入完成且流水空闲时,都会再次启动计算。

由此,昇腾芯片多流水并行能力就可以得到充分的发挥,从而实现流水之间的无缝衔接。

黑科技三:集群系统性能优化方案

横扫人类棋手的「围棋大师」AlphaGo可以利用AI从巨大空间中找到最佳落子点。

同样是利用AI搜索算法,集群系统也可以在无数可能性中找到流水的最佳并行方案。

这样就可以在深度学习的大规模集群训练任务中,实现参数同步流水与计算流水最佳并行。

从而最大化地消减训练拖尾时间开销,提升集群训练的线性度。

这三个黑科技可以从算子层面到系统整体层面实现端到端优化,为Atlas 900训练集群提供有效算力的持续爆发。

三个黑科技,让CANN打开了算力魔盒,为AI硬件插上了翅膀。

华为轮值董事长胡厚崑在2021世界人工智能大会开幕式曾表示,「只有基础打得牢,根技术扎得深,应用创新跑得快,才有人工智能产业的参天大树和生态的持续繁荣。」

鹏城实验室能够在最新MLPerf基准测试中实现2.4倍性能提升,正是因为异构计算架构CANN这3个黑科技扎下了深根。

只有基础打得牢,根技术扎得深,才有人工智能的繁荣发展。

总之,技术要扎到根,根深才能叶茂。

—完—

欢迎点赞~ 关注 新智元 及时了解人工智能新动态~

花粉社群VIP加油站

1
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与花粉乐分享无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
凡本网注明 “来源:XXX(非花粉乐分享)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。
如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。
QQ:2443165046 邮箱:info@hflfx.com
关于作者
飘絮惹尘埃-1..(小蜜蜂)
文章
440
主题
0
关注
0
粉丝
2
点击领取今天的签到奖励!
签到排行
随手拍
54个圈友 0个话题
华为手机随手拍,记录生活点滴之美好
华为P30pro
51个圈友 0个话题
这里是华为P30pro手机交流圈,欢迎华为P30pro用户进群交流
体验官
60个圈友 2个话题
华为花粉体验官,体验官专属的交流群
登录后查看您创建的圈子
登录后查看您创建的圈子
所有圈子
猜你喜欢
杭州互联网违法和不良信息举报平台 网络110报警服务 浙ICP备17046585号
1
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索