【长期主义】第226期智能说：OpenAI Sam欧洲之旅与各国政要畅聊AI-花粉乐享

> 乐学堂 > > 【长期主义】第226期智能说：OpenAI Sam欧洲之旅与各国政要畅聊AI

【长期主义】第226期智能说：OpenAI Sam欧洲之旅与各国政要畅聊AI

来源：六合商业研选

2023-06-30 16:47:27

476

管理

Sam与西班牙首相佩德罗·桑切斯会面

随后，Sam前往波兰，见到波兰总理马泰乌什·莫拉维茨基Mateusz Morawiecki，两人讨论主要围绕探索波兰公司参与AI开发过程的可能性展开。他们强调开发符合社会价值观的AI技术重要性，确保AI使用合乎道德规范，并担负起责任。

Sam此次欧洲之旅的目标之一，在于为OpenAI寻找欧洲总部，他看好波兰并不让人感到意外，包括微软、谷歌、亚马逊、IBM在内诸多科技巨头都在波兰设有研发中心。

Sam与波兰总理马泰乌什·莫拉维茨基会谈

5月24日，法国总统埃马纽埃尔·马克龙Emmanuel Macron会见Sam。他在推特上发文称：在法国培养人才和开发技术，在法国、欧洲和全球层面进行监管，这些都是我们在AI方面的优先事项。我们与ChatGPT创建者Sam讨论了这个问题。

但他也承认，担心生成式AI会被用来传播虚假信息。

Sam说：人类已经很擅长制造虚假信息，也许GPT模型会让它变得更容易。但这不是我害怕的事情，我认为AI会有所不同，因为这些系统拥有互动、个性化和说服能力。

他说，尽管OpenAI计划推出一些方法，使ChatGPT拒绝传播虚假信息，并计划创建监控系统，但当公司向公众发布开源模型时，将很难减轻这些影响。

Sam也发出警告，重要的是，AI技术仍处于新兴阶段时，不要过度监管。

他说：我认为在这里取得平衡至关重要。

他指的是世界各地的政策制定者正在讨论如何为AI制定规则，保护社会免受潜在危害的影响，同时又不抑制创新。

Sam还简要介绍OpenAI商业策略，即向其他企业出售软件接口API的使用权。

他说：我们希望的是，有很多人集成我们API。当我们把基础模型做得更好时，它会提升整个世界的产品和服务，这是非常简单的策略。

Sam还谈到对AI辅助人类的愿景，届时人类将被技术增强，而不是被取代。

Sam认为，在这场技术革命的另一边，会有更多就业机会，根本不认为这是工作的终结。我们现在看到一条未来之路，制造的这些工具将变得越来越强大，并被广泛使用，帮助个人提高效率，有能力做更多的事情。

未来愿景受质疑，遭到抗议

无论走到哪里，Sam都会受到热烈欢迎，当然也不乏质疑。

伦敦大学学院演讲时，许多抗议者就曾发出严厉警告：OpenAI和像它这样的公司需要停止开发先进的AI系统，以免它们有机会伤害人类。

Sam欧洲之旅目的在于：在ChatGPT引起人们对AI兴趣激增后，平息人们恐惧，并在有关AI监管的讨论之前采取行动。

他承认人们担心AI的影响无可厚非，但在他看来，AI带来的好处远超过危害。他再次对监管表示欢迎，但不要过度。

OpenAI批评者认为，Sam关于监管超级智能的评论实际上是花言巧语，他是在转移人们对AI系统当前危害的关注，同时也让立法者和公众分心。

牛津大学研究太阳能地球工程和生存风险的学生吉迪恩·富特曼Gideon Futerman评价Sam说：听着，也许他是在制造骗局，我当然希望他仅止于此。但在当前情况下，他是在炒作有足够已知危害的系统，我们要竭尽全力阻止他。如果他是对的，他正在构建的系统通常是AGI，那么危险就会大得多。

富特曼还称，Sam友好而热情，他真诚的相信自己肩负着拯救人类的使命。然而，他没有看到这项技术并非不可避免，也没有看到我们一开始就可以选择不建立有这种风险的系统。尽管他的意图是好的，但这种心态意味着，他和OpenAI仍然是非常危险的参与者。

AINow研究所董事总经理萨拉·迈尔斯·韦斯特Sarah Myers West表示，像Sam这样的人把问责制放在了未来。但实际上，我们应该谈论AI系统目前造成的已知威胁，包括错误信息传播、带有种族偏见的面部识别等。

伦敦大学学院政治学和伦理学硕士研究生阿利斯泰尔·斯图尔特Alistair Stewart表示，他希望看到先进系统的研究暂停或中止。虽然他不敢肯定Sam关于AI驱动的繁荣未来愿景是错误的，但不确定性太多，不能全凭运气。

Sam Altman：谢谢邀请。

Nadav Cohen：我想我们先简单介绍一下自己。Ilya，请重点强调一下你以色列背景。

Ilya Sutskever：好的。大家好。实际上，我从5~16岁一直住在耶路撒冷。

我2000~2002年期间在开放大学学习；之后我去加拿大多伦多大学，待了10年，获得学士、硕士、博士学位。

攻读博士期间，我有幸为深度学习重要进展做出贡献。然后我和几个人一起创办了一家被谷歌收购的公司，并在那里工作了一段时间。然后有一天，我收到Sam一封冷邮件，说：嘿，我们一起和一些厉害的人聚聚。

我非常好奇，就去了。那是我和Elon Musk、Greg Brockman的第一次晚餐，我们决定创办OpenAI。然后我们一直在做这个项目，已经过了好几年。所以现在我们就在这里。

Sam Altman：我从小就对AI非常兴奋，就像一个小科幻迷。我从来没有想过自己会有机会在这方面工作，但后来进入大学，学了一段时间。那时并没有什么成果。大约是2004年，我退学了，创办了一些公司，成为一名初创公司投资者。在听到Ilia提到的那些进展后，我对AI发生的事情非常激动。我给他发了那封邮件，然后我们就在这里。

Nadav Cohen：我想问一下，你认为OpenAI在生成式AI方面成为领导者的关键优势是什么，尤其是在竞争对手通常更大、资源更多的情况下？

Sam Altman：专注和坚定。我们相信，我认为我们总是比那些更大的公司更早看到未来的发展方向。我们更专注做自己的事情。我们拥有很多优秀的人才，这个人才密度非常重要，但经常被误解。我们有一种严谨和可重复创新的文化，在一个文化中同时拥有这两者是困难且罕见的。

Ilya Sutskever：我只能补充一点。进展中的AI是一场信仰的游戏。你对这个信仰越多，你就能取得越大的进展。听起来像是在开玩笑，但我并不是。你必须相信。你必须相信这个想法并为之努力。你相信得越多，你就能付出更大的努力。这就是进展的源泉。当然，重要的是你所相信的东西是正确的，但在这个前提下，一切都取决于信仰。

学术界对于塑造AI的作用

Nadav Cohen：非常感谢。接下来，我们谈谈其他话题。近年来，AI的进展主要是由工业推动。我想知道随着AI发展，你认为学术研究在这个领域应该扮演什么角色？

Ilya Sutskever：是的，情况确实是如此。事情发生很大变化。学术界曾经是最前沿的AI研究发生的地方，但现在情况不太一样，原因有两个：计算能力与工程能力。学术界计算能力较弱，通常没有工程文化。然而，学术界仍然可以对AI做出非常重要的贡献，只是不能在最前沿的能力上做出贡献。学术界可以为一些问题做出贡献。

我们正在训练的神经网络有很多谜团。我们正在创造这些神奇而难以想象的复杂对象。深度学习就像炼金术一样。我们利用数据作为原材料，利用计算作为能量源，获得智能。但它是什么？它是如何工作？它属性是什么？我们如何控制它？如何理解它？如何衡量它？这些都是未知。

甚至简单的衡量任务，我们AI有多好？我们无法衡量。以前这不是问题，因为AI并不重要。但现在AI变得重要起来，我们意识到我们无法衡量它。这只是我举的一些问题的例子，这些问题无需大规模计算群集，也无需庞大的工程团队就可以提出并取得进展。如果你能取得进展，那将是重大而显著的贡献，所有人都会立即注意到。

Nadav Cohen：从你们话中听起来，实际上似乎产业界和学术界之间的进展并没有达到平衡。我们希望看到更多这方面贡献。所以我想知道，是否有什么可以用来改善这种情况，特别是从你们角度来支持？

Ilya Sutskever：好的，我有两点建议。

首先，我认为最重要的是转变思维方式。

我最近离学术界有点远，但我认为存在一种危机，我们不知道我们在做什么。

有一件事导致了很多混乱，我认为，大量论文正在被写作。但重要的是思考最重要的问题。专注于这些问题。

我们要转变思维方式，专注于最重要的问题，我们能做些什么？我们不知道什么？我们无法衡量这些系统，无法理解它们，我们要认识到这个问题。一旦你理解了问题，你就开始朝解决它的方向前进。

这就是我们可以提供帮助的地方。我们有一个学术接入计划，学术机构申请获取我们最先进模型的使用权限。他们研究这些模型，写论文。我们甚至在推出GPT-3之前就已经这样做。许多大学已经发表了关于他们研究的论文，探讨了模型性质和偏见。

如果你有更多的想法，我会很乐意听取。

Nadav Cohen：那我们肯定应该在私下讨论这些事情，进一步深入。我需要控制时间。

你提到了发表论文。作为这个领域从业者，我觉得有人认为，或者至少有一个合理的观点认为，关于工业界的研究，科学透明度的水平在某种程度上正在下降。

虽然有些公司确实推广开源，公开他们模型和代码，但其他公司较少这样做。有人说OpenAI也是如此。

所以我想知道你对此有何看法，首先，你是否同意这个观点，如果是，为什么？你认为什么是正确的策略？为什么OpenAI策略是这样？

Sam Altman：我们确实对一些模型进行开源，将来会开源更多模型。但我认为开源，并不是将所有东西都开源的正确策略。如果今天模型有趣，它们有一些用处，但相对我们将创建的模型来说，它们还很原始。

我想大多数人会同意，如果我们创造出超强的AGI，它具有惊人的优势，但也存在风险，开源可能不是最好选择。因此，我们正在努力寻找平衡。

我们会开源一些东西。随着我们对模型理解越来越深入，我们会逐渐开源更多。我们已发表很多论文，我认为很多其他人现在用来构建模型的关键思想都是由OpenAI发表。从早期GPT论文、规模定律、一些强化学习的工作，我们已发表很多。但这是我们在前进过程中必须找到平衡的问题。我们面临很多不同压力，需要成功管理。

Nadav Cohen：那你是否考虑过向特定人群公开一些模型情况，也许不向全世界开源，而是向科学家公开？你考虑过这个吗？

Sam Altman：当我们完成对GPT-4训练后，我们花了很长时间，几乎8个月时间来了解它，确保安全性，弄清楚如何使其与外界保持一致。我们有外部审计员、红队、科学界参与。所以我们确实做了这些，而且我们会继续这样做。

Nadav Cohen：所以我想谈一点风险问题。我知道这是经常被讨论的话题。在我们讨论机会之前，只是简要谈一下，因为我觉得这很重要。我们可以想象至少有三类风险。一种是经济失衡，工作岗位变得多余。另一种可能是强大的武器落入某人手中，例如黑客，他们可能能够利用这些工具做出相当于以前成千上万个黑客所能做到的事情。最后可能是最令人担忧的，即一个系统失控，即使触发它的人也无法停止它。我想知道你对每种情况的可能性如何看待。

Ilya Sutskever：对每种风险，我们分别看。你提到三个风险，经济失衡、黑客、超级智能失控。

首先是经济失衡，让我们从这个开始。确实，经济失衡，我们已经知道有些工作岗位受到影响。换句话说，一些工作的某些部分可以被替代。如果你是程序员，你不再编写函数，因为CoPilot会为你编写。但对艺术家来说，情况有些不同，因为一部分艺术家经济活动已经被图像生成器取代。我认为确实，就业岗位方面，未来的情况并不简单。虽然会创造新工作，但会有漫长的经济不确定期。

有人认为，即使当我们拥有全面人类水平的AI、AGI时，人们仍将有经济活动可做。我不知道是否属实。但无论如何，我们都需要一些东西来减轻冲击，以实现平稳过渡，无论是转向全新职业，还是政府和社会体系需要保持进步。

黑客问题比较棘手。的确，AI将具有强大能力，恶意使用可能会产生危险。我们需要采取类似框架，类似我们对待其他非常强大和危险的工具的方式。

现在要注意的是，我们不是在讨论当今的AI，我们讨论的是随着时间推移，能力不断增强，最终达到这个状态。

现在我们处于今天这个状态，我们会到达那个状态。当你达到这一点时，那将是一项非常强大的技术。它可以用于惊人的应用。你可以说治愈所有疾病，但另一方面，你也可以制造比以前任何疾病都要严重的疾病，那将是糟糕的。

所以我们需要建立一些机构来控制技术的使用。Sam已提出一个文件，我们提议像国际原子能机构IAEA这样成立类似的组织，来控制非常强大的技术，专门用于控制AI。

对于最后一个问题，超级智能AI失控，那将非常糟糕。所以，建造一个我们不知道如何控制的超级智能AI将是一个大错误。

Sam Altman：我可以补充一些吗？

Nadav Cohen：当然可以。

Sam Altman：那部分是你拿手好戏。对于最后一句，我没有什么可补充的。我完全同意。

我非常赞同在经济方面观点，我发现很难去推测未来发展。我认为目前世界上有很多剩余需求，这些系统在帮助解决任务方面非常出色。

但就目前而言，它们并不能取代现有工作，而是帮助提高现有工作效率。我认为短期内，情况实际上看起来还不错。我们将会有很多戏剧性的生产率增长。我们会发现，如果你能使程序员效率提高两倍，世界上需要的代码量也会超过两倍，所以一切都好。

实际上，我不确定它是否会成为就业的黑天鹅事件。我认为它可能是一种更渐进、更可预测的变化。我们现在有这些擅长做任务，但不是整个工作的系统，它们会变得更强大，完成一些工作，但很难预测。

政府的角色，我认为将是提供一种新的缓冲措施。这将采取什么形式，我认为不同的政府将尝试不同的实验，我们将看到哪种方式效果更好，其他政府会效仿。

在我最近旅行中，几乎在每次对话中，每个政府都对此非常认真。他们对如何解决这个问题有不同的想法，但这可能是当今任何世界领导人思考的头等大事，至少是前三大问题之一。所以我认为人们正在关注这个问题。

长期看，我认为这些系统会在更复杂的任务和工作领域发挥作用。其中一些工作可能会消失，但有些工作会被证明确实需要人类和人类角色，以一种不太明显的方式。

举个例子，世界上第一次接触AI时，是当Deep Blue战胜卡斯帕罗夫时。每个人都认为国际象棋已经完全结束。没有人会再玩国际象棋，因为它不再有趣。但这只是大家的共识。

事实上，国际象棋从未像现在这样受欢迎，人们在国际象棋方面变得更好。预期也提高了。我们可以借助这些工具学得更好。但人们似乎仍然真的想要与其他人交流。Dall-E可以创作出色艺术品，但人们仍然关心艺术品背后的人，他们希望购买的是与人相关的艺术。这种人与人之间的联系，是我们认为特别珍贵和有价值的。

就国际象棋例子而言，人们比以往任何时候更多观看人类下棋，而不是观看两个AI互相对弈。所以我认为会有很多难以预测的事发生。

人们渴望个性化、创造新事物、获得地位的愿望不会消失。但它们会以一种非常不同的方式呈现。

我愿意打赌，100年后的工作，几乎与今天工作没有任何相似之处。其中一些工作可能会出现奇怪的相似之处，但我确实同意Ilya观点，无论发生什么，当自动化达到我们从未想象过的高度时，我们都需要一种不同的社会经济契约。

Nadav Cohen：谢谢。所以还有一个关于这个话题的问题。Sam，你最近签署了一份请愿书，呼吁对待AI带来的潜在威胁要非常认真。我不确定我是否也签署了，还有其他人也签署了。所以我想知道，根据这个呼吁，你认为我们人类，以及像OpenAI这样的公司，应该采取哪些步骤来解决这个问题。

Sam Altman：我想强调一下，我们所讨论的不是当前的系统，不是小型初创公司正在训练的模型，也不是开源社区。

我认为现在对该领域进行严格的监管、或试图减缓令人难以置信的创新，是错误的。我希望我们能够讨论一下正在发生的好处。

但是，如果我们正在走向Ilya所说的情况，你绝对不希望制造不太完全一致的超级智能。我认为世界应该将其视为不是永远不会发生的科幻风险，而是可能在未来10年内需要应对的问题，这对于世界机构来说时间并不长。

所以我们提出一个想法，希望能有一个全球性组织，在最高级别、在计算能力和技术前沿，能够制定一个许可模型的框架，对其进行安全审核，并提出必须通过的测试，这将有所帮助，我们在核能领域也是这样做的。

借助AI推动科研技术突破

Nadav Cohen：好的，那么我们确实可以继续谈一下好处。我们现在处于一个科学的环境中，所以我想知道在科学发现AI的作用，你是否有任何预测或想法，我们在未来几年、甚至更远的未来，会处于什么位置。

Sam Altman：这是我个人对AI最感兴趣的方面。

我认为会发生许多令人惊叹的事情，无论是在各个领域的巨大经济效益，还是在医疗保健方面。

但是，AI能帮助我们进行科学发现，而这是我们目前无法做到的。我们将能够了解宇宙的奥秘。更重要的是，我真的相信科学和技术进步，是改善生活、改善世界的唯一可持续的方式。

如果我们能够开启大量新科学、新技术进步，我认为我们已经开始看到人们使用这些工具提高效率的起点。

但是，如果你想象一个世界，你可以说“帮助我治愈所有疾病，并且它能帮助我做到，这将是戏剧性的改变，我认为我们离这一点并不遥远。

Nadav Cohen：好的，除了疾病之外，还有一个主要问题是气候变化。所以我想知道你对此的看法，以及AI在其中潜在作用。因为我确实看到，Sam，你提到它作为一个可能的贡献领域。

Sam Altman：我很讨厌说这个，因为气候变化是如此严重和艰难的问题。但是我认为，一旦我们拥有真正强大的超级智能，解决气候变化对于这样的系统来说并不困难。

Ilya Sutskever：我们可以解释一下，这就是解决气候变化所需的方法。

要解决气候变化，你需要大量高效的碳捕获，你需要能源来进行碳捕获。你需要建设技术，并且需要大量建设。

如果你可以加快科学进步，这是一个强大的AI可以做到的事情，我们可以更快实现先进的碳捕获。它可以更快实现廉价的能源，它可以更快实现廉价的制造。现在，将这三者结合起来，廉价能源、廉价制造、先进的碳捕获。

现在我们建设大量这样的设施，然后你就能够从大气中吸收掉所有多余二氧化碳。而如今，这个计划有点困难。如果你拥有一个能够极大加速科学和工程的AI，这个问题就变得非常简单。

Sam Altman：我认为这个例子，说明我们应该有多大的梦想。如果你想象一个世界，你可以说：告诉我如何以低成本获得大量清洁能源，告诉我如何高效捕获碳，然后再告诉我如何建造一个具有地球规模的工厂。如果你能做到这一点，你也能做很多其他的事情。

Ilya Sutskever：有一个补充，你不仅是要求它告诉你，你还要求它去做。

Nadav Cohen：好的，我想问几个关于OpenAI产品的问题。首先是关于ChatGPT，我想知道，你们发布了它，我听你说过你没有预料到它会像现在这样传播。我想知道，是否有其他人使用ChatGPT进行了让你感到惊讶的应用，无论是它产生的价值还是展示的能力。

Ilya Sutskever：我先来回答。对我个人来说，给我带来无尽喜悦的事情之一，是当我父母告诉我，他们朋友在日常生活中使用ChatGPT。所以我肯定会说，这绝对是非常令人惊讶和令人愉快的。

Sam Altman：很难选择几个最喜欢的故事，因为这真的很了不起，世界上的创造力和人们使用强大工具时所做的事情。

对我们来说，教育方面的应用非常令人惊叹。看到那么多人写信来说，这改变了我生活，因为现在我可以学习任何东西，或者我学到具体东西，或者我之前不知道怎么做，现在我知道了。

对人们以一种全新而更好的方式学习，我个人发现这非常令人满足和美妙，也想象着几年后会是什么样子。

但是，如果我们能以这样速度释放人类潜力，我们并没有完全预料到会发生这种情况，这真是太神奇了。

而且，昨天我听到一个有趣的故事，之前也听说过类似的故事，有一个人每天晚上花2小时和他的孩子一起编写床边太空故事，那是孩子最喜欢的事情，已经成为每晚的特殊时刻。

Nadav Cohen：好的，谢谢。在我们继续回答听众的问题之前，还有一个小问题，可以说是关于OpenAI正在开发的最具未来感的产品是什么。

Ilya Sutskever：最具未来感的产品。

我们不以产品方式来思考，我们以改进AI为思考方式，以生产下一代AI模型、神经网络为目标，使其更可靠、更擅长推理、更可控、更全面的改进。当你做到这一点时，你将进入全新的应用世界，这有点难以预测，但我们期待一切都变得更好，并具有重大意义。

Sam Altman：我希望世界不再对我们感到惊奇。我希望，你知道，人们已经对ChatGPT有所了解，但从现在开始，它将是一个持续平稳的进步曲线。在每个阶段，我们都能成功应对风险。它总是做你想要的事情，并且使用起来是安全的。但是，你对每年的期望越来越高，我们会实现这些期望。它感觉像是一种逐渐加速的技术，但是它非常符合你的需求，是一个为你服务的工具。

Nadav Cohen：好的，谢谢。现在让我们继续回答听众的问题。

观众：我的问题是，没有额外的技术进步，开源的LLM模型能否与GPT-4的能力相媲美？或者GPT-4中是否有世界不知道的秘密，使其与其他模型不同？我在安装Stability的vicuna模型，130亿参数的...我在浪费时间吗？

Ilya Sutskever：好的，关于开源和非开源模型的问题。你不应该以二元、非黑即白的方式来思考，认为有一个永远不会被重新发现的秘密。

我要说的是，或许有一天会有人重现GPT-4效果，但那时候OpenAI可能已经出现更强大的模型，所以开源模型与私有模型之间始终会存在差距，而且这个差距可能会越来越大。制造这样一个神经网络所需的工程和研究工作量不断增加，即使存在开源模型，它们也不会由少数研究员和工程师组成的小团队生产，而只会成为大公司的专利。

观众：你们能告诉我们更多关于剖析和对齐之前的基本模型吗？关于GPT-4的基础模型怎么样？在剖析之前是什么样？

Sam Altman：对，我们确实意识到在对模型进行剖析、对齐过程中，它会丧失重要的能力，我们正在研究如何尽可能保留这些能力，基础模型不是那么容易使用。但我们希望能够实现遵循指令、给用户尽可能多的控制和能力的目标。并且不会引发法律纠纷，虽然我们已经发现了一些有助于解决这个问题的方法。所以我们完全理解对更灵活模型的要求，我们正努力找到如何实现这一目标并给用户更多的自定义选项。

AI有效监管的必要性

观众：非常感谢你们的演讲。如果你们真的相信AI对人类构成危险，为什么还要继续开发它？你们是不是不太担心自己亲人和家人？其次，如果你们面临监管，比如OpenAI和其他AI公司受到监管限制，你们会服从还是像扎克伯格一样试图规避每一个限制？

Sam Altman：这是一个非常公正和好的问题。我们工作中最困扰的部分就是要平衡这项技术巨大潜力，我认为人类确实需要它，以及面对这些严重的风险。为什么要构建它？

首先，我认为当我们回顾人们生活水平和今天标准时，它将会比回顾500或1,000年前人们生活看起来更糟糕。我们会说，天哪，你能想象人们生活在贫困中吗？你能想象人们患有疾病吗？你能想象每个人没有出色的教育，无法按照自己意愿生活吗？这将会看起来非常野蛮。我认为未来每个人生活都会比今天最优秀的人过得更好。再次强调，这其中的好处是巨大的。所以我认为有一种道义上的责任去解决这个问题。

我还认为这是不可阻挡的，这是技术进步的必然。阻止它是行不通的，所以我们必须找到如何管理风险的方法。

我们公司的成立，在很大程度上就是因为这个风险和解决这个风险的需要。我们结构是独特的，我们利润有上限。我相信激励是超能力，如果你正确设计了激励，通常就能获得你想要的行为。

所以我们会过得很好。如果我们让数字继续向右上角前进，我们不会赚更多或更少的钱。我们没有Facebook那样激励结构，我认为Facebook上有很多有良好意图的人，只是处在一个有一些挑战的激励结构中。

所以当我们最初设立公司时，我们就思考过AGI的问题，我们设立利润上限的结构。因此，我们要如何平衡对计算能力和使命的需求，是我们考虑的问题。

在考虑我们关注的使命时，我们讨论的一个问题是，如何制定一个能让我们热切接受对我们伤害最大的监管机构。

现在，正是实施这种机构的时候，我们正在全球各地为对我们影响最大的监管进行倡导。所以，当然，我们会遵守它。

我认为，当人们面临存在性风险时，更容易获得他们的好行为。因此，我认为在这个领域的所有领先人物都会感受到这一点，你将会看到与社交媒体公司不同的回应。我认为所有的怀疑和担忧都是合理的。我们每天都在努力应对这个问题，这并没有简单和立竿见影的答案。

观众：我是一家小企业CEO。我必须提到我们在很多方面都使用GPT，它对我们帮助很大。最后，我和微软副总裁交谈过，她告诉我，他们决定听从AI建议，因为在他们测试中，AI总是正确的。

我想知道你们使用AI，和我们使用AI之间有什么差距？我们在使用token和其他方面有很多限制，而你们没有。但你们拥有的能力和我们可以使用的能力之间有什么差距？

Ilya Sutskever：你说的是我们使用的模型，和你们使用的模型之间的差距。

现在，你们可以访问GPT-4，我们也是。事实上，我们正在开发下一代模型。也许我可以描述这个差距，随着我们不断构建功能越来越强大的AI，这个差距会变得更大，测试周期更长，我们将进行更长时间红队测试，了解模型限制，了解所有可能不可接受的使用方式，并逐渐扩展。

例如，目前，GPT-4具有视觉识别能力，而对你们尚未推出，因为还有一些最后的调整工作要做，但很快我们可能会推出。所以我想这可能是对你问题的回答。也许在不久的将来，我不确定。

观众：我想知道你们对于最近泄露的“没有更多文件”文件有何看法。

Sam Altman：最近的泄露文件，我认为OpenAI特别与众不同的地方，而且我认为文件对此有误解，除了我们有大量用户和与我们产品建立某种关系的人之外，OpenAI特别擅长的是找出接下来要做什么。

一旦你知道某件事是可行的，复制它就很容易。从这个意义上说，找出下一步要做什么非常困难。需要有大胆想法、中等规模想法、小而精致执行，以实现从现在到超级智能的过程，这是我们的模式。因此，当我们走向下一个模式时，其他人也会开始复制，但我们已经开始着手下一个模式。

观众：Sam，你好，我是一名YouTuber，也是一家新创企业的CEO。我的问题是关于超级智能和罗科的怪蛇Rokos Basilisk困境，你能否详细说明GPT和OpenAI如何应对这一困境？

罗科怪蛇Roko's Basilisk，是网上讨论和思考实验的典故，涉及到关于未来超级智能的假设。

据说，这种超级智能可以通过时间旅行或其他方式，获取人们对其造成痛苦的信息，并惩罚那些没有帮助实现它诞生的人。因此，这个典故引发道德困境：是否应该在现在支持和促进超级智能发展，以避免未来可能的惩罚。

Ilya Sutskever：虽然Rocco的蛇怪不是我们特别关注的事情，但我们绝对非常关注超级智能。

我们确实非常关注超级智能。为了让大家了解背景，可能不是每个人都明白我们所说的超级智能是什么。

当我们说有一天将能建立一个比任何人都聪明、在科学和工程方面能够比一个经验丰富的科学家和工程师团队更快做出贡献的GPU集群时，我们在说什么。这是疯狂的，这将产生难以置信、极其重大的影响。它可以设计下一代AI系统，构建AI系统。这简直太疯狂了。

我们立场是超级智能具有深远影响。它可能会带来难以置信、极其积极的影响，但也非常危险，这个引擎需要谨慎对待。

这是为什么我们提出对未来的先进前沿系统，采用国际原子能机构方法的建议。此外，我们需要进行大量研究，以控制超级智能的力量，使其能够为人类利益服务。这是我们对超级智能的立场，这是人类面临的最终挑战。

超级智能，如果你思考一下人类进化历史。

40亿年前，有一个单细胞生物，某种形式的复制体；大约数十亿年来，你有各种不同的单细胞生物；大约10亿年前，出现了多细胞生物；几亿年前，可能有爬行动物；6,000万年前，出现哺乳动物；1,000万年前，出现灵长类动物；1万年前，我们有了文字。

接着是农业革命、工业革命、技术革命，现在最终是超级智能。这是最终的、最终的挑战。它可以创造难以想象的繁荣，正如Sam所提到的，但也是一个巨大的挑战。这是我们需要面对和克服的挑战。

观众：我正在学习计算机科学，即将毕业，我想知道未来10~15年里，学习计算机科学能找到一份好工作吗？

Sam Altman：我认为学习计算机科学，无论如何都是有价值的。

虽然我自己几乎不再写代码，但我认为学习计算机科学，是我所做过最好的事情之一。它教会我如何思考和解决问题，这些技能在任何领域都非常有用。

即使计算机程序员工作在10~15年后，看起来与今天不同，但学习如何学习是最重要的技能之一，包括快速学习新知识、预测未来发展趋势、适应性强和有弹性、理解他人需求以及如何成为有用的人。

毫无疑问，工作性质将会改变，但我无法想象一个世界，人们不花时间做某事为他人创造价值，以及带来的所有好处。也许在未来，我们会关心谁拥有更酷的银河系，但某些好的东西，如价值创造不会改变。

在我人生中，它基本上取代了维基百科。我曾经花很多时间在维基百科上学习东西，如果你看一下我搜索历史，你会发现它在学习新知识上的效果非常好。所以我不会像有些人那样深入学习物理学每一个细节，但如果我听说某个东西，并且想尽快了解它，它是令人惊讶的有效工具。

观众：这是一个关于AI背景下数据的问题。

Sam Altman：我们认为对那些为这些系统提供数据、或以其他方式帮助这些系统的人来说，他们应该得到回报，从这些系统中获益。

我认为这些系统真正想成为的是推理引擎，但它们将能够访问不同数据。它们还需要人们帮助它们正确推理的方法。我们正在探索很多关于如何让这些人与模型的成功相对应的奖励方式的想法。

如果你是一位艺术家，人们会以你风格生成艺术作品或受到你灵感，你将从中获得经济利益。

所以我认为找出正确的方法非常重要，既考虑到内容创作者和内容所有者的需求，也考虑到技术的发展方向。

就业市场的价值指导

Nadav Cohen：实际上，我有一个来自以色列机器学习和深度学习社区的问题。一家媒体机构提出了这个问题，如何看待以色列在AI发展和应用方面机遇，特别是在以色列是否有独特的东西，如果有的话？

Ilya Sutskever：我认为在近期内有很多机会，机会很多。我可以说，近期是AI的黄金时代。你拥有一个未知的领域，有很多积极的机会。所以我只想说，去抓住机会。

Sam Altman：我观察到以色列两个特别之处。

第一，人才密度。我们非常关注人才密度，不仅是人才绝对数量。这个国家人口相对较小，但有很多有才华的人，你可以将他们聚集在一起。

第二，以色列创业者无止境的动力和雄心。我们在与以色列初创企业合作中，取得惊人的成功，这两个因素加在一起，我认为将带来令人难以置信的繁荣，无论是在AI研究还是应用方面。

观众：我是一名志愿者，我今年18岁。我想问你们，你们希望历史如何记住你们？

Ilya Sutskever：我的意思是，以最好的方式记住？

观众：Sam，我是一家创业公司的CEO，我们是以色列过去40年来数学教材和内容的主要提供商。

Nadav Cohen：用于数学教学。

观众：我们是数学教材主要提供商，过去40年一直在以色列。首先，我想知道你们计划如何提高聊天GPT在希伯来语方面技能？其次，与教育和AI相关的实际应用，特别是在学校中，我们如何改进和激励学生？谢谢。

Ilya Sutskever：你想问的是数学教育。显然，教材将会升级。你读教材，但教材无法回答你问题。因此，借助我们和其他人正在构建的AI，你将能够就学科进行对话。这将带来更高效学习体验。它将适用于数学，也将适用于其他学科。最终，我们将迈向每个学生都拥有专属私人导师的世界。现在还不够好，但它将变得更好。

观众：我是以色列大学一名数据科学家。我问题是关于你们未来计划和WorldCoin项目，ORB系统。

Sam Altman：我是一名投资者，我在公司组建方面提供了一些帮助，但我不参与日常运营。我认为这非常令人兴奋。我认为在隐私保护前提下尝试新的区分人性、思考全球基本收入UBI等方式，并思考公平民主化的访问方式，是非常好的领域进行探索。但我与该公司联系不够紧密，无法对计划发表有意义评论。

Nadav Cohen：好的，谢谢OpenAI CEO Sam Altman和首席科学家Ilya Sutskever，非常感谢你们的参与。