编辑：Aeneas 好困

【新智元导读】最新研究结果表明，AI在心智理论测试中的表现已经优于真人。GPT-4在推理基准测试中准确率可高达100%，而人类仅为87%。

GPT-4的心智理论，已经超越了人类！

最近，约翰斯·霍普金斯大学的专家发现，GPT-4可以利用思维链推理和逐步思考，大大提升了自己的心智理论性能。

也有学者认为，人类是随着身体进化而来的生物实体，需要在物理和社会世界中运作以完成任务。而GPT-3、GPT-4、Bard、Chinchilla和LLaMA等大语言模型都没有身体。

所以除非它们长出人类的身体和感官，有着人类的目的的生活方式。否则它们根本不会像人类那样理解语言。

怎么办呢？

专家发现，通过一种「上下文学习」，就能大大增强LLM的推理能力。

对于大于100B参数的语言模型来说，只要输入特定的few-shot任务演示，模型性能就显著增强了。

另外，即使在没有演示的情况下，只要指示模型一步步思考，也会增强它们的推理性能。

为什么这些prompt技术这么管用？目前还没有一个理论能够解释。

大语言模型参赛选手

基于这个背景，约翰斯·霍普金斯大学的学者评估了一些语言模型在ToM任务的表现，并且探索了它们的表现是否可以通过逐步思考、few-shot学习和思维链推理等方法来提高。

参赛选手分别是来自OpenAI家族最新的四个GPT模型——GPT-4以及GPT-3.5的三个变体，Davinci-2、Davinci-3和GPT-3.5-Turbo。

· Davinci-2（API名称：text-davinci-002）是在人类写的演示上进行监督微调训练的。

· Davinci-3（API名称：text-davinci-003）是Davinci-2的升级版，它使用近似策略优化的人类反馈强化学习（RLHF）进一步训练。

· GPT-3.5-Turbo（ChatGPT的原始版本），在人写的演示和RLHF上都进行了微调训练，然后为对话进一步优化。

· GPT-4是截至2023年4月的最新GPT模型。关于GPT-4的规模和训练方法的细节很少公布，然而，它似乎经历了更密集的RLHF训练，因此与人类意图更加一致。

实验设计：人类与模型大OK

如何考察这些模型呢？研究者设计了两个场景，一个是控制场景，一个是ToM场景。

控制场景指的是一个没有任何agent的场景，可以把它称为「Photo场景」。

而ToM场景，描述了参与某种情况的人的心理状态。

这些场景的问题，在难度上几乎一样。

在实验中，研究者注意到这样一个问题：LLM ToM测试成绩的提高，是因为从prompt中复制了推理步骤的原因吗？

为此，他们尝试用推理和照片示例进行prompt，但这些上下文示例中的推理模式，和ToM场景中的推理模式并不一样。

即便如此，模型在ToM场景上的性能也提升了。

由此，研究者得出结论，prompt能够提升ToM的性能，并不仅仅是因为过度拟合了CoT示例中显示的特定推理步骤集。

相反，CoT示例似乎调用了一种涉及分步推理的输出模式，是因为这个原因，才提高了模型对一系列任务的准确性。

各类CoT实例对ToM性能的影响

LLM还会给人类很多惊喜

在实验中，研究者发现了一些非常有意思的现象。

1. 除了davincin-2之外，所有模型都能够利用修改后的prompt，来获得更高的ToM准确率。

而且，当prompt同时结合思维链推理和Think Step-by-Step，而不是单独使用两者时，模型表现出了最大的准确性提升。

2. Davinci-2是唯一一个没有通过RLHF微调的模型，也是唯一一个没有通过prompt而提高ToM性能的模型。这表明，有可能正是RLHF，使得模型能够在这种设置中利用上下文提示。

3. LLM可能具有执行ToM推理的能力，但在没有适当的上下文或prompt的情况下，它们无法表现出这种能力。而在思维链和逐步提示的帮助下，davincin-3和GPT-3.5-Turbo，都有了高于GPT-4零样本ToM精度的表现。

另外，此前就有许多学者对于这种评估LLM推理能力的指标有过异议。

因为这些研究主要依赖于单词补全或多项选择题来衡量大模型的能力，然而这种评估方法可能无法捕捉到LLM所能进行的ToM推理的复杂性。ToM推理是一种复杂的行为，即使由人类推理，也可能涉及多个步骤。

因此，在应对任务时，LLM可能会从产生较长的答案中受益。

原因有两个：首先，当模型输出较长时，我们可以更公平地评估它。LLM有时会生成「纠正」，然后额外提到其他可能性，这些可能性会导致它得出一个不确定的总结。另外，模型可能对某种情况的潜在结果有一定程度的信息，但这可能不足以让它得出正确的结论。

其次，当给模型机会和线索，让它们系统性地一步一步反应时，LLM可能会解锁新的推理能力，或者让推理能力增强。

最后，研究者也总结了工作中的一些不足。

比如，在GPT-3.5模型中，有时推理是正确的，但模型无法整合这种推理来得出正确的结论。所以未来的研究应该扩展对方法(如RLHF) 的研究，帮助LLM在给定先验推理步骤的情况下，得出正确结论。

另外，在目前的研究中，并没有定量分析每个模型的失效模式。每个模型如何失败？为什么失败？这个过程中的细节，都需要更多的探究和理解。

还有，研究数据并没有谈到LLM是否拥有与心理状态的结构化逻辑模型相对应的「心理能力」。但数据确实表明，向LLM询问ToM的问题时，如果寻求一个简单的是/否的答案，不会有成果。

好在，这些结果表明，LLM的行为是高度复杂和上下文敏感的，也向我们展示了，该如何在某些形式的社会推理中帮助LLM。

所以，我们需要通过细致的调查来表征大模型的认知能力，而不是条件反射般地应用现有的认知本体论。

总之，随着AI变得越来越强大，人类也需要拓展自己的想象力，去认识它们的能力和工作方式。

参考资料：

https://arxiv.org/abs/2304.11490

花粉社群VIP加油站