贾浩楠 发自 凹非寺 量子位 报道 | 公众号 QbitAI

2020年的最后一天，来回顾一下今年所有AI顶会的最佳论文吧！

今年，顶会的最佳论文，既有ECCV的“2D变3D”的NeRF，当然，也有今年引起轰动的GPT-3，它来自NeurIPS 2020。

而ICRA、ACL、AAAI等等，顶会，把最佳论文给了较为基础的理论研究。

Reddit上，有网友整理汇总了今年AI顶会的最佳论文：

在基于偏好的交互式学习工作的基础上，提出了CoSpar算法。CoSpar试验之间会给出用户的偏好，并提出改进建议。

由于外骨骼行走是一种非直观的行为，用户可以比数字反馈更容易和可靠地提供偏好。

在实验中，CoSpar持续地找到了用户偏好的外骨骼行走步态参数，这表明它可以根据个人用户来调整和个性化外骨骼（或其他辅助设备）。

最佳论文：Learning Latent Representations to Influence Multi-Agent Interaction

受人类的启发，研究人员认识到机器人不需要明确地模拟另一个智能体将做出的每一个低级行动，相反，可以通过高级表示来捕获其他智能体的潜在策略。

所以，本文提出了一个基于强化学习的框架，用于学习代理政策的潜伏表征，其中小我代理识别其行为与其他代理的未来策略之间的关系。

然后，智能体利用这些潜伏动态来影响其他智能体，有针对性地引导他们走向适合共同适应的政策。

NeurIPS 2020的最佳论文，就是今年大热的GPT-3了：

Language Models are Few-Shot Learners

扩大语言模型的规模可以极大地提高任务无关性、少数例子的性能，有时甚至达到与之前最先进的微调方法的竞争力。

有网友甚至认为，AI顶会，评委们的评选标准，实在是不科学。

他认为，今年的这些论文，当然都是质量很高的论文，但是，除了GPT-3以外，其他文章都是应用类结果，不是真正的通用机器学习进展。

评委们的“品味”应该更高一点，最佳论文应该是结果能真正使用在后续研究中，而不是仅仅给人留下深刻印象。

而反对意见认为，评判一篇论文价值，要问的问题不是 “这是机器学习还是应用？”，而是 “这个特定的技巧有多广泛的适用性？”

这种观点认为，机器学习的根本是一种基本方法思路，由此发展出来的都是解决某一类问题的技巧。

具体到今年的这些最佳论文，真正的问题在于，所有的论文只是介绍了新的技巧。

用各种测试集上的结果来表明新方法有多少提升，但忽略了这些算法在实际问题上的适用范围。

所以，最佳论文的问题，还是出在了评判标准上。

在对顶会最佳论文激烈的讨论中，还出现了一种不寻常的观点。

人提出了GPT-3使用的大规模Transformer只能算是一种应用，并不是真正的机器学习算法创新。

这一观点立刻引来反驳。

Transformer是到处都在使用的通用机器学习模型，当然算机器学习范围。

这种观点中所说的到处，是指CV、NLP、计算积分的分析表达式等各个领域。

但是，有人指出，在工业界，极少应用大规模Transformer，因为工业模型太庞大，数据太复杂，算力根本跟不上。

所以，大规模Transformer要想应用在工业领域，还需要进一步优化结构，当然，还要更好更贵的卡。

怎样？你认为GPT-3算是算法创新吗？

— 完 —

花粉社群VIP加油站