内容来自公开演讲 技术琐话 2023-06-15 08:33 发表于陕西

6月10日，OpenAI创始人Sam Altman以视频连线的方式现身于中国北京举办的2023智源人工智能大会，这是Altman首次对中国观众发表演讲。

Altman在演讲中引用了《道德经》，谈及大国合作，表示AI安全始于足下，各国间必须进行合作和协调。

随后Altman接受了智源研究院理事长张宏江的一对一问答。

张宏江博士目前任北京智源人工智能研究院理事长，同时担任多家公司的独立董事和顾问。曾任金山集团执行董事及首席执行官兼金山云的首席执行官，是微软亚洲研究院创始人之一，曾担任副院长、微软亚太研发集团（ARD）首席技术官及微软亚洲工程院（ATC）院长以及微软“杰出科学家”。

加盟微软之前，张宏江曾任美国硅谷的惠普实验室任经理；此前还在新加坡国立大学系统科学研究院工作。

Altman演讲核心内容：

当下人工智能革命影响如此之大的原因，不仅在于其影响的规模，也是其进展的速度。这同时带来红利和风险。

随着日益强大的 AI 系统的出现，全球合作的重要性从未如此之大。在一些重要的大事上，各国间必须进行合作和协调。推进 AGI 安全是我们需要找到共同利益点的最重要的领域之一。

对齐仍然是一个未解决的问题。GPT-4 花了八个月的时间完成对齐方面的工作。但相关的研究还在升级，主要分为扩展性和可解释性两方面。

问答环节核心内容：

十年内人类将拥有强大的人工智能系统（AI System）。

OpenAI没有相关的新的有关开源的时间表，开源模型具有优势，但开源一切可能并不是一条（促进AI发展的）最佳路线。

看明白神经网络比看明白人类脑子容易多了。

在某个时候，会尝试做GPT-5的模型，但不会是很快。不知道具体GPT-5出现的时候。

AI安全需要中国研究者的参与和贡献。

注：“AI对齐”是AI控制问题中的最主要的问题，即要求AI系统的目标要和人类的价值观与利益相对齐（保持一致）。

Sam Altman演讲内容：

随着日益强大的人工智能系统的出现，全球合作的赌注从未如此之高。

如果我们不小心，一个旨在改善公共卫生结果的错位的人工智能系统，可能会提供没有根据的建议，从而扰乱整个医疗保健系统。同样，为优化农业生产而设计的人工智能系统可能会无意中耗尽自然资源或破坏生态系统，因为缺乏对影响粮食生产的长期可持续性的考虑，这是一种环境平衡。

我希望我们都能同意，推进AGI安全是我们需要共同努力，寻找共性的最重要领域之一。

未来十年我们会有非常强大的AI系统

智源研究院理事长张宏江提问：我们距离通用人工智能（AGI）还有多远？风险是不是很紧迫，还是我们离它还很遥远？

Sam Altman：这很难评估具体时间。很可能未来十年我们会有非常强大的AI系统，新技术从根本上改变世界的速度比我们想象的快。在那样的世界里，我认为把这件事（AI安全规则）做好是重要且紧迫的，这就是为什么我呼吁国际社会共同努力的原因。

从某种意义上说，我们现在看到的新技术的加速和系统的影响是前所未有的。所以我认为要为即将发生的事情做好准备，并了解有关安全的问题。考虑到AI规模庞大，这其中的利害关系相当重要。

中国、美国和其他国家以及欧洲这三个主要集团是人工智能创新背后的驱动力，在你看来，在AGI安全这个领域中，不同国家分别又有什么优势来解决这一问题，特别是解决人工智能安全问题。如何将这些优势结合到一起？

需要非常不同的架构使得AGI更安全

张宏江：关于GPT-4和AI安全的后续问题。我们是否有可能需要更改AGI模型的整个基础架构或整个体系结构。为了让它更安全，更容易被检查.

Sam Altman：无论是从功能角度还是从安全角度来看，我们确实需要一些非常不同的架构，这是完全可能的。

我认为我们将能够取得一些进展，在解释我们目前各种模型的能力方面取得良好进展，并让他们更好地向我们解释他们在做什么以及为什么。但是，是的，如果在Transformer之后有另一个巨大的飞跃，我不会感到惊讶。自从最初的Transformer以来，我们已经改变了很多架构。

AGI的下一步方向？会很快看到GPT-5吗？

张宏江：作为一个研究人员，我也很好奇，下一步的AGI研究方向是什么？在大模型、大语言模型方面，我们会不会很快看到GPT-5？下一个前沿是不是在具身模型上？自主机器人是不是OpenAI正在或者准备探索的领域？

Sam Altman：我也很好奇下一步会发生什么，我最喜欢做这项工作的原因之一就是在研究的前沿，有很多令人兴奋和惊讶的事情。我们还没有答案，所以我们在探索很多可能的新范式。当然，在某个时候，我们会尝试做一个GPT-5模型，但不会是很快。我们不知道具体什么时候。我们在OpenAI刚开始的时候就做过机器人方面的工作，我们对此非常感兴趣，但也遇到了一些困难。我希望有一天我们能够回到这个领域。

张宏江：听起来很棒。你在演讲中也提到了你们是如何用GPT-4来解释GPT-2的工作原理，从而使模型更安全的例子。这种方法是可扩展的吗？这种方向是不是OpenAI未来会继续推进的？

Sam Altman：我们会继续推进这个方向。

张宏江：那你认为这种方法可以应用到生物神经元上吗？因为我问这个问题的原因是，有一些生物学家和神经科学家，他们想借鉴这个方法，在他们的领域里研究和探索人类神经元是如何工作的。

Sam Altman：在人工神经元上观察发生了什么比在生物神经元上容易得多。所以我认为这种方法对于人工神经网络是有效的。我认为使用更强大的模型来帮助我们理解其他模型的方法是可行的。但我不太确定你怎么把这个方法应用到人类大脑上。

控制模型数量可行吗

张宏江：好的，谢谢你。既然我们谈到了AI安全和AGI控制，那么我们一直在讨论的一个问题是，如果这个世界上只有三个模型，那么会不会更安全？这就像核控制一样，你不想让核武器扩散。我们有这样的条约，我们试图控制能够获得这项技术的国家数量。那么控制模型数量是不是一个可行的方向？

Sam Altman：我认为对于世界上有少数模型还是多数模型更安全，有不同的观点。我认为更重要的是，我们是否有一个系统，能够让任何一个强大的模型都经过充分的安全测试？我们是否有一个框架，能够让任何一个创造出足够强大的模型的人，既有资源，也有责任，来确保他们创造出的东西是安全和对齐的？

张宏江：昨天在这个会议上，MIT未来生命研究所的Max教授提到了一种可能的方法，就是类似于我们控制药物开发的方式。科学家或者公司开发出新药，你不能直接上市。你必须经过这样的测试过程。这是不是我们可以借鉴的？

Sam Altman：我绝对认为，我们可以从不同行业发展出来的许可和测试框架中借鉴很多东西。但我认为从根本上说，我们已经有了一些可以奏效的方法。

张宏江：非常感谢你，Sam。谢谢你抽时间来参加这次会议，虽然是线上的。我相信还有很多问题，但考虑到时间，我们不得不到此为止。希望下次你有机会来中国，来北京，我们可以有更深入的讨论。非常感谢你。

花粉社群VIP加油站