贾浩楠 发自 凹非寺 量子位 报道 | 公众号 QbitAI

GPT-3，是个严重偏科的“文科生”。

UC伯克利的研究人员，在对类似GPT-3的大型语言模型进行测试后发现，数学，就是这类AI的盲区。

12500道高中数学题，GPT-3的正确率最低不到3%，最高也没超过7%。

完全不合格啊~

例如，OpenAI最近推出了GPT-f，这是Metamath形式化语言的自动证明器和证明助手。

GPT-f对一些数学问题做出的证明，已经被Metamath主库所接受，这是AI的数学论证第一次数学社区所采用。

Facebook方面也声称已经成功实验了数学AI算法。在去年1月的一篇博客文章中，该公司的研究人员表示，他们已经教会了一个模型将复杂的数学方程视为一种语言，然后将解题过程视为翻译问题。

比如多项式展开、三角形面积、幂级数展开…..

而MATH与以往所有数学数据集最大的不同，就是它的每一个训练问题下，都有清晰的解题步骤和公式依据。

训练后的模型，可以学习到许多有用的启发式解决问题的思路。

除了MATH，团队还推出了一个庞大而多样化的数学预训练语料库AMPS。

AMPS的Khan子集有693个练习类型，超过100,000个问题，基本上是K-12教学中常用的。问题类型从初级数学（如加法）到多变量微积分（如斯托克斯定理），并用于教授实际的K-12学生.

团队还贡献了自己的Mathematica脚本，生成了约500万个的问题。

这个超过23GB大小的数据集，是专门用来训练超大模型用的。其中的问题包括代数、微积分、计数和统计学、几何学、线性代数和数论的各个方面。

与之前的算法生成数学问题的方法不同，由于使用了Mathematica的计算机代数系统，这样使用者就可以直接对分数、分析函数等等进行操作。

尽管是高中竞赛题，但难度依然不小。

团队特地用MATH对人类进行了评估，结果，一名计算机科学博士学生的答题正确率为40%。

一位三次获得IMO金牌的人成功率达到了90%，这表明MATH对人类也具有挑战性.

但研究人员认为，让AI学会分步解题仍然有进步意义。

与直接在问题和答案上进行训练相比，MATH上训练过的模型，可以提高10%的相对准确率。

最重要的，是模型“掌握”了一些基本数学知识。在一些错误的解法下，AI已经懂得调用相关的公式定理，而不是胡言乱语一通。

AI数学竞赛的第一课，并不是毫无收获。

GPT-3也不要灰心，伯克利的团队说了，随着对模型的改进，今后它们的数学推理能力会越来越强。

MATH和AMPS现在都已开源，有兴趣的研究者可以直接下载：

https://github.com/hendrycks/math/

花粉社群VIP加油站