《芯片战争》作者Chris Miller在最近一次访谈中称:美国下一步对中国芯片的动作,就是要让中国的GPU死得不能再死。作为算力基础设施的高性能GPU如果无法自研自产,未来中美算力资源将不在一个维度,人工智能水平也不会在一个维度。
《芯片战争》作者
在ChatGPT横空出世后,中国国内大部分的讨论停留在什么样的工作不会被AI取代,下面要开始玩AIGC了,大家要开发自己的大模型了——而完全没有意识到事态的严重性:美国要封堵中国芯片业发展的那堵墙,已经砌上了最后一块砖。国内半导体、芯片业一直以来最紧急的就是国产替代,而一夜之间美国仅仅用一个AI模型把我们所有的尝试,变成了徒劳之功。
为什么这么说?
ChatGPT的本质,是一种大语言模型(LLMs),基于人类反馈的强化学习(RLHF,),而且有着只关注上文信息来推测下文的特征,通过一定的奖励模型来优化自身回答。
英伟达A100卡
微软在打造的大规模AI超级计算机阵列,28.5w颗核心,1w颗GPU
简单来说,微软训练一个大模型可能要6个月,我们则至少需要3年。这样的代差,如果不做改变,会越来越大。
伤华为一千,自损八百的阴招
1. 先进GPU禁令:美国以英伟达A100 GPU为基准,限制中国获得A100及以上性能的GPU芯片,我们现在无卡可买。AI行业已经进入了算力为王的时代,无论是GPT还是文心一言,只有足量的算力它们才有机会迭代。
全国用上A100卡算一台8卡的服务器也仅仅几万台而已,其余很多是阉割版的A800,加钱都不卖那种,因为一个国家GPU硬件资源就那么多。而更高级的H100卡,国内几乎为零。即便中国AI企业人才济济(实际上全国能做大模型的人只有区区百人)、资金雄厚,但在算力资源上美国已经处于另一个维度。美国人10万张卡算出的模型,我们需要上百万张卡加上大量软件支持才可能算接近。
2. 14nm及以下半导体制造设备禁令:
“禁止未经许可向中国大陆芯片制造商出售大多数可以制造14nm或更先进制程的芯片的设备” 国内目前能量产14nm芯片的只有中芯国际一家企业,而提供更高算力的GPU芯片需要7nm甚至更高制造工艺,在先进光刻、量测等设备禁运的状态下,国产制造的路目前几乎被堵死。
3. 国内的先进计算芯片设计公司,无法寻求国际晶圆加工厂(Foundry)的流片和代工服务。先进GPU需要先进半导体制程的加持,而国内没有厂商能做,就只能寻求国外厂商的帮助。美国把这条路也掐了。全球有该量产工艺能力的企业大概有三家:台积电、三星、英特尔。三家都在美国芯片法案前后获得了美国政府的补助在美国建先进制程工厂。站队已经很清楚,幻想什么的可以完全放弃了。
4. 美国方面也注意到了大量中国企业租用美国高算力的情况,开始调查。相关禁令很可能接踵而至,这些企业危险将至。
5. ChatGPT从3.5版本取消开源,并对任何疑似来自中国的用户进行封禁处理。
AI大佬吴恩达
他说过:“别人的健美身材不会影响你的美丽。一项热门新技术的出现也并不意味着你当前所做的研究没有价值,前提是它在技术上是合理的,有合理的影响预期,并且没有被新技术淘汰(这种情况鲜有发生)。各种形式和规模的项目都可以很出彩,今天的大热门只是在未来会被证明有价值的众多内容之一。”是不是很有道理?当你发现一扇门关上时,往往有另外几扇门打开。中国的商业环境、业务模式和大洋彼岸的差异性非常明显,自主创新依然是核心思路。
2. 绕开超巨算力的门槛。训练多模态大模型需要巨大的算力,这是事实,动不动就是几亿美元上万块GPU。但还有一种方式能让单颗GPU训练效率大大提升:比如国人开发的Colossal-AI这样的系统将项目能直接扩展到大规模计算机集群,你家的笔记本电脑也能帮忙训练几十亿参数的模型,算是在主流方案之外的另一个可能性。
胜利的曙光就在眼前,这张图表信息量不小
花粉社群VIP加油站
猜你喜欢