刚刚，NeurIPS 2020在官网公布了2020年度最佳论文奖和时间检验奖。

最佳论文共收录了三篇，今年最亮眼的主角——OpenAI的GPT-3名列其中！

论文接收量分析：谷歌全球第一，清华国内第一

今年的NeurIPS投稿数量再次创下新高，比2019年增长了38%，一共收到了12115份摘要，但最后提交完整的只有9467篇论文，最终被收录的有1903篇，接受率只有20%。

本届 NeurIPS 2020 论文接收量全球机构排名前三甲分别为为：Google（169篇），斯坦福（104篇），MIT（98篇）。

清华大学以63篇位居第七位，北大则以37篇位居第20名。

GPT-3将其上一代模型GPT-2的大小从15亿个参数增加到1750亿个，其使用的最大数据集在处理前容量更是达到了 45TB。

GPT-3在许多NLP数据集上实现了强大的性能，包括翻译、问题回答和完形填空任务，以及一些需要实时推理或领域适应的任务。

列子集选择问题(CSSP)和 Nyström 方法是机器学习和科学计算中构造大数据集小型低阶近似的主要工具。其中一个基本问题是: 大小为 k 的数据子集如何与最佳秩 k 近似相竞争？

通过这篇论文开发的技术，利用谱性质的数据矩阵，以获得改进的近似保证，这超出了标准的最坏情况分析。

作者使用的方法为已知单值衰减率的数据集提供了更好的界限，同时还揭示了一个有趣的现象: 近似因子作为 k 的函数可能呈现多个峰和谷，称之为多重下降曲线。

最后，以 RBF 核为例，证明了改进的边界和多重下降曲线都可以通过改变 RBF 参数在实际数据集上观察到。

时间检验奖：穿越时间，一篇10年前的论文获奖

此外，大会还公布了一项「Test of Time Award」，即时间检验奖。

顾名思义，就是颁发给一篇经得起时间考验的论文。大奖被10年前的一篇论文获得，这篇论文对人工智能界产生了特别重大和持久的影响。

委员会给出的获奖理由是：「机器学习是将样本数据转化为模型的问题，这些模型存储在计算机中，可以用来做出决定或采取行动。机器学习系统的核心是SGD，它搜索可能的模型空间，找到一个与样本数据匹配良好的模型。本文描述了 SGD 的一个实现，它可以在一组快速计算机上并行运行，所有这些计算机都对模型进行重复的小的改变，而不需要任何协调或同步」。

这篇论文被引用了将近2000次，证明它不仅对机器学习有影响，而且对计算机系统和优化领域也有影响。

同时值得注意的是，这篇论文的华人一作是Feng Niu，本科毕业于清华大学计算机系，博士毕业于威斯康星麦迪逊分校计算机系，目前担任苹果的研究科学家。

one more thing

大会还有很多有趣的地方，例如，一篇只有两个词的论文，被评为「题目最短」：Choice Bandits.

另外，英伟达研究开发了GAN训练的突破。一种名为ADA的新技术只需不到几千张训练图像就能生成高分辨率图像。

参考链接：

https://nips.cc/

花粉社群VIP加油站