北京日报客户端 | 记者 袁璐

6月10日，在2023北京智源大会AI安全与对齐论坛上，智源研究院理事长，美国国家工程院外籍院士张宏江对话OpenAI 首席执行官（CEO）山姆 · 阿尔特曼（Sam Altman）。

张宏江向阿尔特曼提问称，面对通用人工智能（AGI）的急速发展，各国正设法建立共识，建立全球合作。有哪些因素和问题是人工智能安全的关键？我们又应该如何应对这些挑战？

对此，阿尔特曼表示，首先应聚焦人工智能的安全技术研究，行业不仅需要考虑人工智能模型本身的安全性，还应该考虑整个系统的安全性。“我们可以构建在人工智能模型上运行的安全分类器和检测器，用于监控模型是否符合使用策略，并不断迭代。”

但阿尔特曼强调，人工智能安全不是一个纯粹的技术问题，要让人工智能既安全又有益，需要在不同的背景下理解不同国家的用户偏好。“中国拥有一些世界上最优秀的人工智能人才。想要解决人工智能系统对齐问题的困难，需要来自世界各地的最好的头脑。我真的希望中国的人工智能研究人员做出巨大的贡献。”

人工智能系统对齐问题（alignment problems）是当下人工智能行业的研究重点和热点。建立一个非常强大的AGI系统，如果它不按人类的意愿行事，或者它的目标与人类的目标冲突，情况就会变得非常糟糕。因此，在AGI的系统当中，人类对于模型的训练是需要对齐人类的意图的——即通过人的调教、指导甚至方法论的输出，不断解锁新模型的新能力，并避免意外和故意误用。

为了更好地展开国际合作，阿尔特曼透露，正在推进建立安全开发人工智能系统的国际标准，并构建反映全球价值观和偏好的数据库。“人们可以通过这些数据库调整人工智能系统，也可以共同分享人工智能安全方面的研究。”

花粉社群VIP加油站