GPT-3发布以来，衍生了翻译、答题、创作小说、数据分析、数学推理、玩游戏、画图表、制作简历等诸多玩法。深度学习之父Geoffrey Hinton表示“从GPT-3惊人的性能可以推测生命、宇宙和万物的答案只是4万亿个参数而已”。纽约大学教授Gary Marcus与Ernest Davis联手在《麻省理工科技评论》发表题为《傲慢自大的 GPT-3：自己都不知道自己在说什么》的文章，一起讨论GPT-3。

那么，GPT-3 的本质是什么？GPT-3将带来哪些冲击与影响……为了探寻本质、扫清迷雾，AI TIME特别邀请学术界与产业界的大佬，于11月26日14:00在1911餐厅相聚，一起论道GPT-3的希望和局限。

本次活动邀请了京东AI研究院常务副院长何晓冬；北京大学研究员、博士生导师严睿；清华大学计算机系副教授黄民烈、清华大学计算机系副教授刘知远；百度杰出架构师、百度文心(ERNIE)负责人孙宇；CCF YOCSEF学术委员会委员、智源研究院学术秘书李文珏；AI TIME负责人何芸。

一、 GPT-3的本质

为什么一个语言模型能够同时完成阅读理解、自动问答、机器翻译、算术运算和代码生成等多种任务？

这是GPT-3一直坚持的哲学思想：将所有自然语言处理的任务转换为语言模型任务，也就是对所有任务进行统一建模，将任务描述与任务输入视为语言模型的历史上下文，而输出则为语言模型需要预测的未来信息。如下图所示，无论是做情感分类、自动问答，还是完成算术运算、机器翻译任务，都可以形式化为语言生成问题。

Shimon Whiteson教授的观点如下：

Q2：下一代新的模型的创新来源点在哪？

人类的学习不是说只学语言文本，还要在真实环境中和大家交流。所以，孙宇认为下一代模型的创新点可能是跨模态的，即不只是语言的大数据，可能还会把互联网上的图片、视频等通过深度学习的语义表示进行统一的建模，以后跨模态可能会成为非常大的突破。

跨模态确实还是有很多机会的，何晓冬表示，如果把百亿级的图片、视频中的所有的物体和关系进行识别，如果把整个物理世界通过跨模态摘出来做预训练，可以做很多，甚至有可能把常识问题给顺便解决了。因为写成文字的知识都是比较高级、比较专业的知识，常识往往都不会被写下来，因为常识就是生活的常态，但往往会记录在海量的日常生活中的照片与视频里。

花粉社群VIP加油站