2020年10月30日，万众瞩目的“2020华为年度旗舰新品发布盛典”在Mate系列手机的福地--上海东方体育中心召开，华为新一代高端旗舰手机Mate40系列在中国正式发布，华为Mate40、华为Mate40 Pro、华为Mate40 Pro 、华为Mate40 RS 保时捷设计四款机型以惊艳的外观，强大的功能震撼了全场，华为Mate40系列为何如此强大，轻松吊打全球其他“一流”手机？那是因为它有一颗强大的“芯”----麒麟9000！今天，老张就给大家揭秘余总在发布会上没有说的麒麟9000内幕！ 华为麒麟系列从2013年麒麟910开启，至今在8年时间已经迭代了9代！如果算上之前的K3V2手机芯片已经迭代10代，8年时间让海思麒麟团队从手机芯片的跟随者变成全球领先者，而且海思已经完全掌握了如何从用户需求角度去开发芯片的诀窍，并将用户需求与其强大的AI能力相结合，打造全球极致性能的手机处理器，毫不夸张地说麒麟9000是目前全球最强大的手机处理器，没有之一。 如果杠精说有强大的苹果A14 ，那只能暴露他的无知，其实A14就是一款AP，根本没有集成基带，而基带在手机SoC设计中异常复杂，目前全球只有四家公司可以设计，所以A14不具可比性，而高通的骁龙系列确实很强大，但在人工智能应用上却落后于麒麟，我们看到搭载华为麒麟990的华为P40早就通过人工智能实现的人像擦除、图片去雾，去反光等功能至今未见任何骁龙或者其他手机平台上实现，而它们仅仅实现的是背景识别，而这在3年前的麒麟970上就已经实现了，由此可见在手机端侧人工智能应用领域麒麟是一骑绝尘！ 以华为Mate40为例，从上图看Mate40可以拍出极具视觉魅力和冲击力的影像，其根本原因就是麒麟9000采用了一个全球独特的设计--把NPU与ISP结合！这个结合以后可以创新出非常多的新功能，后面我会详细介绍！ 麒麟9000深度揭秘 9月29日，我参加了海思举办的小范围媒体沟通会， 会上，华为Fellow艾伟介绍了麒麟9000的设计：麒麟9000采用全球顶级5nm工艺制程，集成153亿晶体管，更小尺寸蕴藏更大能量。麒麟9000是业界最成熟的5G SA解决方案，带给用户疾速的5G现网体验。 麒麟9000有两款产品，分别是麒麟9000和麒麟9000E，二者搭载的都是ARM cortex-A77 CPU和Mali-G78图形图像处理器，CPU都采用一个大核 三个中核四个小核的设计，大核最高主频可达3.13GHz，另外 3 个 A77 最高 2.54GHz，还有 4 个 A55 最高为 2.04GHz，GPU方面麒麟9000采用的是24核心，而麒麟9000E则为22核心。此外，麒麟9000的NPU部分采用2个大核 1个微核的组合，麒麟9000E则为1个大核 1个微核的组合。艾伟说麒麟9000的业界首个24核Mali-G78 GPU与Kirin Gaming 3.0强强联手，可以打造更畅快更省电的高画质游戏体验。 “对于麒麟9000，我们优化了所有系统，从CPU、GPU、NPU、ISP，通信Modem，包括所有的外置接口、内存、存储接口、安全接口，所有的接口我们都重新做了优化，而且还有很多创新体验展现出来。其实手机是整个ICT行业当中独一无二的存在，因为它需要在很小的体积、很低的功耗内容纳最多的创新。”他强调，“而PC处理器和服务器处理器对尺寸要求没有手机处理器那么强烈，所以如何在很小的范围内，承载最多的创新，装载更多的晶体管数目是一个很大的挑战。我们可以从体验角度来谈设计。” 我总结了一下，麒麟9000有五个独步全球的第一！ 1、支持双载波！5G速度全球第一 5G手机让人最津津乐道的就是速度，基于多年的通信设计积累，华为在通信方面自然是保持了全球领先，2019年华为推出全球首款旗舰5G SoC麒麟990 5G，率先为旗舰手机用户带来5G疾速体验。2020年初，华为面向中高端市场推出5G SoC麒麟820，普惠5G，让更多消费者体验到5G速度。 艾伟表示，现在，麒麟9000再次刷新了5G速度，通过支持5G SA 双载波聚合在5G SA现网环境下麒麟9000能带来业界最快的5G体验！“相比上一代麒麟990 5G以及当前其他的旗舰5G通信平台，它们支持的是100M单载波，而麒麟9000支持200M双载波聚合。Sub-6G下行理论峰值速率达4.6Gbps，上行理论峰值速率达2.5Gbps。所以，”艾伟表示，“和友商最新手机对比，我们在现网情况下跑出超过2倍的优势，达到2.6Gbps，而友商只有1Gbps。2倍是来自于我们的双载波，超出不仅取决于我们的芯片，还取决于我们手机和芯片里面的设计。谁有更好的天线设计，谁有更好的天线智能选择和信道测量的技术，以及谁有更好的基站、现网协议匹配能力，谁就有更快的速度！我们现在看到的比理论领先幅度还要大一些，这是现网的情况。” 这是实测数据显示，直接对标的就是iPhone12。从测试数据看，麒麟9000的速度是其两倍！ 此外，麒麟9000搭配麒麟W650支持Wi-Fi 6 ，理论峰值速率达2.4Gbps。无论使用5G还是Wi-Fi，麒麟9000及其配套的麒麟650成为迄今为止最快的手机 SoC解决方案。艾伟表示在Wi-Fi方面，华为在P40上同步发布了麒麟W650 Wi-Fi 6 技术，具有160M带宽，相对于其他厂商80M的带宽也有两倍。所以麒麟及其套片所支持的手机，无论是在户外的蜂窝5G上，还是家里的Wi-Fi网络都可以跑出两倍于友商的速率！ 除了通信带宽更快，在时延对比上，麒麟9000更是突出！艾伟表示实测基本上麒麟9000时延小于30ms的在网率有83%，而友商刚好相反，有83%的情况下在30~100ms之间。这意味着在现网跑外场的时候，除了手机里面的天线、射频、信道测量技术，麒麟9000在站点切换选择、策略的选择上有了更加贴近真实的情况。 这样给终端手机带来什么体验呢？就是让终端手机在现网时始终处于一个比较优良的网络状态，时延更低，连接更加稳定，真正享受5G的冲浪乐趣--例如流畅的游戏体验，反之，一些所谓的5G手机，尤其其延迟大，反而在游戏体验上和4G手机区别不大，因为4G时代，游戏流畅的体验是100ms-150m延时。有可以说，搭载麒麟9000的5G才是真正意义上的5G手机。 2、能效平衡全球第一，打造极致游戏体验 手机芯片由于受到体积高度的限制，因为必须要在性能和功耗上做出这种，主要就体现在能效比上，艾伟表示麒麟9000的CPU从Cortex-A76升级到Cortex-A77，同时把架构调整为3个大核运行在2.54GHz的水平，一个超大核运行在超过3.1GHz的水平，这样的情况下，可以支持在重载任务情况下还有足够的性能余量。实测中，麒麟9000相对友商有10%的性能优势，能效方面有25%的优势。这一部分用来承载我们日常运行以及高负载的应用时，可以达到这样的结果。 他表示在GPU方面，麒麟9000此次有巨大提升，GPU内核从上一代的16核 Mali G76提升到24核 G78， GPU的性能和能效相对友商都有巨大优势，相比骁龙865 性能提升52%，能效提升50%。 以四个主流的TOP游戏《王者荣耀》《和平精英》《明日之后》《方舟Vullkan-极限》来对比，他表示这些游戏中有一些是CPU、GPU均衡架构，有的是偏GPU的重载架构，在这几个游戏里，麒麟9000的能效比都是最好的，同样的耗电情况下可以运行更高的帧率。 “最近大家也看到也有一些报道谈到手机玩游戏突发的高功耗情况，为了让这个事情显得更加公平，我们不用某一个单点或者是某一个时刻局部的性能来比拼，我们就看长期运行上的性能情况。大家也可以尝试随便拿两个手机同时打游戏，看一下手机掉电，这是可以直观看到的。如果说真正测试的话，我们建议大家用这样的方法，用真正的测试场景取代直观看电池，它可以精细的反馈出每一时刻的耗电情况。从这个来对比就可以看出来了，尤其是在游戏运行一段时间到峰值的高功耗之后，依然是稳定的性能表现。我相信各位媒体朋友更加专业，可以看出效果。”他指出，“以王者荣耀为例，在这种情况下麒麟9000依然能有20%的能效优势，这意味玩家可以比其他手机有更多的游戏时间。” 他表示追求高画质、高帧率、低功耗是华为对整个游戏行业发展的看法。理想的情况是需要很低的功耗，同时还要支持高帧率，但是高帧率也有上限，不可能从30帧到60帧到90帧甚至是更高，因为再高以后，人眼已经感觉不出来了，“在这两者之上，我们释放出来的性能和能效就是体现在高画质上。”他强调。“目前，高品质游戏会越来越多的从主机平台向手机迁移。在手机的整个计算系统中，随着GPU、CPU的能效提升，可以实现以前手游达不到的效果，包括在高分辨率情况下同时做宽动态，可以体现更丰富的色彩，以及随着光线变化，动态模糊，以及面对强光照射情况下体积光和光影的效果。以前这些跑在手机上要么会很热，要么会掉帧，这一次麒麟9000会跑出什么样的结果？” 以王牌竞速为例，这在游戏开始挑选车辆时的情况，可以看到地板光的变化和人影的变化。这时地板上提供了一个空间反射的效果，同时在丰富的曲线和斜线的轮廓上可以控制住锯齿效应，这是抗反射的特效。这种特效自然需要更多的CPU、GPU运算把它呈现出来，不同芯片平台在这种情况下帧率和功耗情况是不一样的。这是把高品质画面实时呈现出来的实例。 他表示在快速移动的情况下，传统GPU在每一帧当中都可以画得很清楚，这是很正常的。但是如果模拟人眼在高速运动情况下，只聚焦于当前视野，而且是收窄的视野，余光反而变得更加模糊，这种特效我们称之为动态模糊，以及面对强光照射下的阴影变化和体积光的变化。这种情况也需要更高的算力来支持，做不到的话，要么把功耗提高，要么就会掉帧。从王牌竞速看，麒麟9000在远处云层的渲染方面会更丰富的色彩和饱和度。 在这款年底上市的逃生游戏里，在如此复杂的环境变化过程当中，当前面出现强光的时，会有一个宽动态HDR效果体验，这种情况下也会带来帧率和能耗的消耗，如果没有足够的性能储备，可能会掉帧或者说主频大幅度提升，能耗大幅度提升。边缘路上的纹理和台阶纹理可以把锯齿效应消掉，这些都是在主机游戏上常用的技术，但是以前受限于手机的性能和功耗，很难实现这个体验，但是这次麒麟9000在平衡性能和能耗情况下，把这种新的高画质变成了现实。 3、AI再次超越自我，实现全球第一 在端侧AI应用方面，华为一直是领头羊，2017年，麒麟970芯片首次把AI引入端侧，带到手机上。2017年，当人工智能还在谈论如何通过云计算来落地的时候，麒麟970成为第一个在手机上实现AI推理的处理器，现在几乎所有手机芯片都在往这个方向发展。 在人工智能应用方面，AI算力永远都不够，因此，通过新的架构提升算力是每个公司都在思考的问题，艾伟表示此次麒麟9000整个AI NPU核架构都进行了更新，升级到华为达芬奇2.0架构，相比上一代，NPU的MAC规模翻了一番，卷积网络性能翻了一番，核间的通信带宽翻了一番，同时大大增强了指令。 “目前麒麟的HiAI支持的人工智能网络算子是业界最多的。在这种情况下，我们可以实现相对上一代算力翻倍的效果。同时光靠内核还不够，很多情况下，把特征网络数据从内存开始读向NPU时，会受限于内存带宽，所以麒麟9000大幅度提升了System Cache的容量。大部分情况下，可以把部分数据缓存在Cache，而不需要调用内存带宽，当需要的时候再扩展内存带宽，相比直接访问内存带宽，我们的带宽提升了一倍，同时能效提升了15%，网络运行性能提升20%。”他指出，“带来的结果是ETH AI Benchmark我们依然保持业界最好的水平，相对上一代有了2倍的提升，是友商的两倍多。这是一个综合的AI Benchmark。” 随着AI的普及，手机侧会越来越多用到Int8数据，而不是原来的16位浮点FP16，在这种情况下，麒麟9000相对行业内其他友商也有更高的性能提升和能效提升。 这两个分别是跑的Resnet50的性能差异和能效差异——性能比友商优60%，能效比友商优150%，也就是说是友商的2.5倍。 人工智能算力的提升最终是要给用户带来用户的体验，不过从这几年发展来看，一些手机平台的AI算力号称很高，但是实际上做的还是背景识别的事情，并没有给用户带来更多体验提升。 对此，艾伟表示，麒麟970的AI算力是一分钟识图2000张，而麒麟9000提高的一秒钟识图2000张！意味着手机可以在每一帧视频提供60倍的性能，这个性能做什么？如此高的算力可以给终端带来什么应用提升？他表示华为认为AI应给跟更多常见应用融合，例如跟视频播放、视频拍摄、AR视频结合。 他举例说上图左边是在视频中抽取的任意一帧，可以同时运行多种复杂的处理，例如图像分类Mobile Net、目标检测、语义分割、实例分割、图像编辑等，最终通过AI识别之后，可以生成一帧画面。 这样的性能意味着搭载麒麟9000的手机可以对视频做实时处理，同时不影响流畅播放。他以视频卡通化为例 ，在正常视频拍摄的同时把画面卡通化，要做实时的轮廓提取、纹理优化、区域分割以及最终的分割转换编辑形成。上面每个像素都是实时变化的，必须要实时识别并实时生成转化，这可以堪称是手机的一个新能力。 此外，通过和AI结合，也可以把原来的低画质转变为高画质，左边是低画质的540P视频，右边是超分后的高清视频，右边的效果由左边转化而来。这也是需要在每一帧当中检测噪点去噪、边缘检测、锐化，生成更好的超分图像，然后进行色彩增强。 针对非常敏感的人脸，麒麟9000也可以做清晰化处理。艾伟表示对于低画质的老电影，以前需要专业设备做转换，现在手机就可以实现了。 大家也会看到有一些专业的电视台或者是电影公司，他会把原来的一些很旧的低画质电影转化过来，但是那需要非常专业的设备，而且要工作很长时间。而现在，你可以在手机上尝试了。 有这样的能力后意味着在网络速度不高的时候，旗舰手机用可以率先体会到高品质、高画质的体检。“当然这部分仅仅靠华为公司还不够，我们需要把这个能力集成在各个主流视频播放器、播放引擎当中，这个工作我们正在做，大家未来会看到这个效果。也希望产业链合作伙伴积极参与进来，把麒麟9000超高的AI性能用起来。”他指出。 4、NPU ISP全球第一，助力Mate40拍照第一 在10月22日，华为Mate40发布后，DXOMARK也迅速更新了手机全球排行榜，毫无悬念的，Mate40 Pro再次荣登第一名。 艾伟透露麒麟9000把NPU 和ISP结合，用AI来增强相片的品质，大大提升了拍照效果。麒麟9000的麒麟ISP 6.0用了更新的Quad Pipeline架构，3A处理能力提升了100%，管线处理速度提升了50%，这样，手机可以实现专业摄影用到的包围曝光，而把NPU与ISP再结合可以得到什么呢？ 艾伟表示，传统情况下一般是视频数据从传感器出来，经过ISP处理之后，形成分色的图像信息，然后展示出来。这其中要求非常高，需要在一帧的时间内，也就是33ms之内处理掉每一个像素。现在麒麟9000通过提升带宽、提升管线资源，可以做到同时在一帧当中处理很复杂的色彩还原和平衡、快速对焦，同时也可以把AI功能在这33ms当中同时写进来--因为AI已经证明了他在图像细节还原和降噪方面有非常好的体验。这样，以前来不及在视频中的每一帧来进行细节还原和降噪，现在可以在视频拍摄里实现。 他以上图为例说明，在傍晚暗光场景下，整个风车动的情况下依然可以显示非常清晰的轮廓，而没有那种涂抹的效果。在风车背后的树叶上，整个细节轮廓也比较清晰，包括地面的纹理和下水道的细节都可以看出差别。 他说这是因为麒麟9000把AI的NPU和拍摄的ISP结合在一起，可以让视频拍摄的更清楚。在拍照上超越人眼，可以让消费者做到在看不清楚的时候拍出比人眼看到的更好的视频出来，这是在暗光情况下的表现。 下面是一个视频拍摄对比，拍照对象在极低暗光环境中，开了AI降噪后，视频明显噪点降低很多。 艾伟表示还有一种场景是在逆光场景下，人眼看逆光的时候需要定定神，因为这时候人眼会先看远景后看近景，或者是先看近景后看远景，也就是说切换不同的景深，最终在大脑里合成出一个细节来，这个能看到的人眼的宽动态范围大概是100db，那么超过它是什么情况呢？这一次麒麟9000提供了最新的ISP的技术，有足够的处理能力，可以在任何一帧当中实现包围曝光技术--通过长、中、短不同的曝光时间来捕捉不同光线条件下的亮和暗的细节。当再合成的时候，既可以看到亮的细节也可以看到暗的细节，实现比人眼有更高的动态范围，麒麟9000有108dB超越了人眼的动态范围。 跟苹果的最新手机对比来看，华为mate40细节表现非常好，可以看到别墅的立面细节，可以既看到亮的背景也可以看到背光处的细节，这就是逆光情况下的HDR宽动态效果。 在Mate40发布会上，它还有一个独特的功能--就是灵动熄屏功能，即当息屏的时候，只要用户用眼光注视屏幕，手机Get到之后,就会动态显示3秒Gif格式的个性动图，十分有趣！更神奇的是，当来电的时候，只要你一个眼神注视屏幕，华为Mate 40系列也能马上捕捉到，并且自动将来电铃声音量逐渐减弱。同时，日常使用中，只要你经常性的去看这个屏幕，华为Mate 40系列机就会自动检测到你的眼神，从而实时保证不息屏，这个功能让手机变得更智慧，感觉它已经不是一个手机而是一个能懂你的智慧体了！ 这个独特的功能背后就是NPU和ISP的结合，艾伟表示眼睛是人最重要的收取信息器官，在注视的时候可以需要在一瞬间内把ISP能力调用起来，AI能力调用起来，看得更清楚，需要AI有低功耗的能力，否则要实现这个功能会跟快速耗完手机的电量就得不偿失了。 他表示华为曾开发了一个微核1.0，可以大幅度把AI运算能效提升同时把功耗降低下来。这一次华为将微核架构提升到2.0 NPU，它在全天运行情况下可以把功耗降到3mA，也就是说一直在待机运行状态下，为手机带来了超低功耗感知的可能性。 另外，Mate40的隔空操作也是NPU参与实现的，尤其是需要NPU可以低功耗工作，“我们需要手机在很低功耗下能够检测到手势变化，而不是说像以前开个摄像头，等我吃完这顿饭或者是做完这个创作，手机就没电了，这就是我们刚刚说到的超低功耗的感知能力。”他强调。 5、AR能力全球第一，让手机理解世界 由于VR受限于显示装置的发展，所以在手机具备高算力有，AR技术可以有广阔的发展空间。 艾伟表示手机未来可以像人一样去理解我们的世界，未来手机也会像人一样，在陌生的环境里，会感知环境的变化——声音的变化或者图像的变化。“人通过“凝视”，可以把事情看得更清楚。我们希望手机也能够看懂这个世界——包括要对看到的东西进行分类、测量、做各种各样的识别。”他解释说，“在《终结者》电影里，施瓦辛格演的终结者从未来回到现实时，第一件事情就是“看”——他在不断的测量，这个功能我们称之为SLAM（同步定位和地图功能）。这个功能我们以前用软件实现还是比较耗电的，而且花的时间比较长。这一次我们提供了专属的AR加速器硬化模块，更快地实现AR核心算法加速，更高的能效比。所以同样做一个AR识别，我们时延降低40ms，功耗降低了36mA。” 实际上，麒麟9000通过Kirin AR 3.0，实现了实时感知世界的能力。Kirin AR 3.0在做AR的时候，要同时运行Camera子系统来看、运行AI子系统进行处理和识别、运行计算机视觉算法、运行智能语音系统。无论是针对特别敏感的人脸来做专门的识别建模，还是针对周边的环境来做识别和建模，麒麟9000将这些技术融合在一起，带来了新的实时感知能力。 他指出这样就可以实现实时的测量。人类在用眼睛看的时候，会很自然的去分类，但是很难做精准的测量。用眼睛估计人的身高，可能有一些误差，但是通过这种方式，用手机跟随人的视觉做同步的世界感知和测量，可以达到更高的精度。而这些我们希望在很短的时间内发生，随着实时视频的变化，就可以实时的进行识别。 华为关于手机未来的思考 他表示华为认为未来独特的信息入口一定是在手机上。这个手机能够对我们当前的世界，包括人、周围的物体、结构化的文字来做实时识别。手机在进行识别和测量后，就可以把它脱敏传到云端，而不是“赤裸裸”的把所有视频内容传上去。这个传递需要一些高带宽、低时延交互的无线网络来传递。 他说华为认为云端拥有人脑所不具备的巨大的知识图谱和数据库--因为人不可能记住全中国14亿人的脸，也不可能记住百科全书的所有东西。所以当把手机实时的感知和AI的识别、AR测量、云端智慧通过5G网络实时联结在一起，它就可以变成一个新的“陪伴”，一个陪伴我们的一个超社会的感知体验。 未来无论是我们的身边，我们的家庭，我们整个的外部世界，从我们的每一个单点的一个对象，到整体的、全部的识别，我们都会实时把它数据化做识别，然后和云端结合在一起。 那么5G手机超强的速度，超强的ISP和强大的AI能力到底能带给我们什么? 艾伟认为就像4G时代出现3G时代没有的移动支付、共享经济一样。到了5G时代，我们会拥有4G所没有的虚拟世界、数字世界与真实世界的结合，而且这一点并不需要太长时间，一定会在两年内发生，就像我们以前对5G的预测一样。 以目前5G手机发展速度来看，经过一个正常的换机周期，两年以后，整个存量市场超过一半会是5G手机，这是偏保守的数据。一个正常的预测，当我们围绕手机用户成为整个产业主流的时候，整个应用环境会自然跟随这个发生变化。 所以，2年以后，我们所在的社会会因为5G而有巨大的变化？ “回顾麒麟发展历程，感谢多年来大家对我们的支持、鼓励、批评和陪伴。每一年我们都希望我们的芯片能够带来更多的创新技术，能够为消费者带来新的体验，这么多年下来，我们从很早期的移动互联网体验，到现在全球领先的5G和AI，我们把它们结合在一起，致力为消费者带来全球最好的旗舰机体验。”他感慨道，“无论未来有多么困难，我们会继续前行！” 总结 从麒麟920举行公开发布会开始，我参加了所有麒麟处理器发布会，我的感触是华为已经在手机处理器设计方面成熟了，与其他品牌处理器还在追求单项指标的同时，华为的麒麟处理器是从用户需求角度进行开发和定义，解决用户实际场景遇到中的问题，以拍照为例，通过与NPU的结合，通过AI解决防抖，通过AI机型视频降噪，让手机拍出更美的视频和照片。 在会后的演示中，我还注意到基于麒麟9000的声音识别、基于麒麟9000的血氧、心率的检测功能等，这些在目前发布的Mate40手机上还没有体现，这充分说明，麒麟9000的还有潜力可以挖掘。 目前，麒麟9000在手机处理器领域的探索已经进入到无人区，可惜由于美国政府的打压，麒麟系列处理器未来之路挑战很大，在全球半导体日益分工细化合作的大趋势下，美国政府的倒行逆施行为必不能长久，希望华为可以挺过这个难关！Mate40绝不是华为手机的绝唱！麒麟处理器一定会有更美好的未来！加油！挺住！（完）