花粉乐分享平台宣传视频
> 乐学堂 > > 为什么ChatGPT没有诞生在中国?三只「拦路虎」|CCF C³
为什么ChatGPT没有诞生在中国?三只「拦路虎」|CCF C³
来源:量子位
2023-05-22 20:12:03
227
管理

丰色 发自 凹非寺

量子位 | 公众号 QbitAI

ChatGPT爆火之后,算力问题也被推到了风口浪尖。

根据OpenAI CEO的说法,每调用一次ChatGPT就会消耗几美分。那么如果全球每人都搜索一下,为什么OpenAI不会破产?

全国的A100显卡就那么几万卡,如果大家都去炼大模型,算力不够用怎么办?

……

CCF CTO Club发起的最新一期CCF C³活动就来到并行科技,话题聚焦于“算力网络赋能人工智能”,以ChatGPT这一热门话题为引子,展开了一场多维度的主题分享和讨论。

该项目直接将ChatGPT的输出接到一个机械臂以及一个微机上。然后通过人与ChatGPT交互,来控制机械臂完成特定任务,比如用一堆方块拼成一个微软的logo。

但在并行科技董事长陈健看来,ChatGPT爆火之后,这个增长速度根本不够:大家要么仍然缺算力,要么缺合适的算力。

因此,他提出了“可用、好用以及降本”这三个概念。

他介绍道,并行科技从超算起家,一直专注于算力行业,目前公司在做的全国一体化算力网络,就是要将国内优质的超算、智算与通用算力全部聚合起来,形成一个算力资源、应用资源、数据资源可以共享和交易的算力网络。

这个网络可以确保当我们需要用算力的时候,只要中国还有可用的空闲算力,我们就能用到。

当然,它的价格一定要合理。

据悉,并行科技目前与广州超算、北京超算、济南超算、中科院超算、浙江超算、宁夏超算等国产算力资源在内的大批优质算力资源结合,共计接入超80000台服务器,总计算力超1000PFlops,存储资源超800PB。

算法优化也是一条途径

在主题讨论环节,大家一齐分享了自己对如何解决算力需求这个问题的看法。

在智谱AI CEO张鹏看来,算力是由市场驱动的,只要符合市场需求,创造出真正的社会价值,就有办法解决。

而且,这个办法一定是多元化的。

比如在硬件层面,我们可以打造更先进的芯片;在宏观资源调度方面,如并行科技陈健所说,算力网络是一个好思路。

而最终,可能将形成宏观层有算力网络,硬件层有强大芯片,中间层有软件做算法优化与加速这种“多向奔赴”的方式。

此外,他也认为,特异化也可能会成为解决AI算力的一种趋势。因为就拿芯片来说,通用芯片的成本一定会比专用的高。

对此,中科院计算机网络信息中心AI技术与应用发展部负责人王彦棡补充道,在人工智能领域,软件的确是需要大家关注的重点,它是构成行业生态的关键,容易出现“卡脖子”问题,做好未雨绸缪,才能应对不断变化的发展时局。

陈健则在这个环节分享了当天刷到的一条朋友圈:

已经摸到一定高度的情况下,再去比参数谁多是不明智的。要比谁用更少的参数,更少的算力,也能达到同样的效果,包括性能和体验。

这条朋友圈来自某位行业专家。

陈健对此颇为赞同,他表示:我们做优化的都知道,最好的优化不是在硬件上去调整性能,而是用一个更好的算法,让总计算量降下去,从而提高更好的体验。

因此,陈健认为,这也是解决算力问题一个非常非常好的路径,如果这一点上能突破,可能对算力公司来说不是好消息,但是对于我们整个社会来说是非常巨大的进步。

接下来,大家还就本期的主题算力网络进行了更深一步的讨论。

并行科技AI云事业部总经理赵鸿冰表示,算力网络接下来的发展重点是算力接入标准化。有了标准,更多算力资源才能被有效的接入到算力网络中,满足需求端的灵活使用。

历史上,电力网络的构建曾为人类带来福祉。现在我们也可以畅想一下,未来是否可以基于算力网络来实现大模型训练。

当然,这需要我们在算力网络分布式计算技术等相关领域做进一步研究。

现场提问

本场活动的最后环节,是留给线上线下观众的现场提问,不少人将目光聚集到了ChatGPT本身。

有人关心ChatGPT是否需要做算法方面的创新。

对此,杨耀东表示,对它来说,可能不需要。

他引用了ChatGPT项目负责人的一句话:

人们通常会低估一个简单的想法实现好后对效能的增长;而过于高估一个全新想法能带来的效能增长。

因此他认为,即便ChatGPT看似简单,如果能在工程化方面做到极致,也会有非常好的应用效果。

前些日子,有研究发现ChatGPT背后的大模型具有9岁儿童心智。

现在,也有人将类似问题抛给了现场嘉宾:

基于ChatGPT目前在应用中的表现,是否可以判定它已经产生了智能?

对于这个问题,杨耀东也发表了看法。他认为从某种角度上来看,我们可以说ChatGPT已经产生了“智能”。就比如面对鸡兔同笼问题,换个数它依然能解,不会出现突然到某个层级不能泛化的问题。

但是它底层的模型,说到底就是一些Encode和Decoder,基于Attentio架构的东西。它为什么能涌现出这么复杂的pattern?

这还是数据带来的归纳偏置非常多以后,涌现出来一定意义上的智能所带来的。

但是这个智能是不是我们科学意义上定义的智能,或者我们怎么去定义智能——这个问题本身还很难说清楚。

关于CCF C³

CCF C³活动是由中国计算机学会CCF CTO Club发起的,旨在联结企业CTO及高级技术人才和资深学者,每次以一个技术话题为核心,走进一家技术领先企业。

往期活动承办单位与主题如下表所示:

下一期,C³将移步上海,由小红书承办,时间为3月30日。

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

花粉社群VIP加油站

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与花粉乐分享无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
凡本网注明 “来源:XXX(非花粉乐分享)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。
如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。
QQ:2443165046 邮箱:info@hflfx.com
关于作者
coco(花粉渠道)
文章
608
主题
0
关注
0
粉丝
1
点击领取今天的签到奖励!
签到排行
随手拍
54个圈友 0个话题
华为手机随手拍,记录生活点滴之美好
华为P30pro
51个圈友 0个话题
这里是华为P30pro手机交流圈,欢迎华为P30pro用户进群交流
体验官
60个圈友 2个话题
华为花粉体验官,体验官专属的交流群
登录后查看您创建的圈子
登录后查看您创建的圈子
所有圈子
猜你喜欢
杭州互联网违法和不良信息举报平台 网络110报警服务 浙ICP备17046585号
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索