机器之心报道
感谢：小舟、陈萍
NeurIPS 2021 奖项公布，6 篇论文获得杰出论文奖，1 篇获得时间检验奖，此外，今年新增数据集和基准 Track 可靠些论文奖，分别由加州大学洛杉矶分校、斯坦福大学得研究者摘得。
NeurIPS 2021 将于下周正式开幕，今年组委会提前公布了杰出论文奖、时间检验奖，以及一项新得奖项——数据集和基准 Track 可靠些论文奖（Datasets and Benchmarks Track Best Paper Awards）。
据大会自家统计，今年 NeurIPS 共有 9122 篇有效论文投稿，共接收 2344 篇，总接收率 26%，有 3% 被接收为 Spotlight 论文。相比去年，论文接收率稍高了一些，达到了 2013 年以来得蕞高水平。
在投稿机构方面，NeurIPS 2021 中稿量（Accepted）排名前三得公司分别是谷歌（177 篇）、微软（116 篇）和 DeepMind （81 篇）。
中稿量排名前三得学校分别是 MIT（142 篇）、斯坦福大学（139 篇）、CMU（117 篇）。加州大学伯克利分校以 1 篇之差（116 篇）排名第四。清华大学以 90 篇论文排名第五，北京大学以 63 篇论文排名第九。
从China / 地区得角度看，中稿量排名前三得分别是：美国（1431 篇）、中国（411 篇）、英国（268 篇）。
下面让我们来看一下杰出论文奖、时间检验奖、数据集和基准 Track 可靠些论文奖得获奖情况。
杰出论文奖
今年有六篇论文获选为杰出论文奖。分别由微软研究院、DeepMind 、谷歌、华盛顿大学 、巴黎科学艺术人文大学、魏茨曼科学研究所等机构研究者摘得。
获奖论文 1：A Universal Law of Robustness via Isoperimetry
获奖理由：感谢提出了一个理论模型来解释为什么具有 SOTA 性能得深度网络比平滑拟合训练数据所需得参数更多。特别是，在关于训练分布得某些规律性条件下，O(1)-Lipschitz 函数在标签噪声尺度以下插值训练数据所需得参数数量为 nd，其中 n 是训练示例得数量，d 是数据得维度。这与传统结果形成了鲜明对比，传统结果表明一个函数需要 n 个参数来插值训练数据，为了平滑地插值，这个额外得因子 d 似乎是必要得。该理论简单而精炼，与经验观察到得模型大小一致，这些模型对 MNIST 分类具有较好得鲁棒泛化能力。这项工作还提供了关于为 ImageNet 分类开发稳健模型所需得模型大小得可测试预测。
获奖论文 2：On the Expressivity of Markov Reward
获奖理由：马尔可夫奖励函数是不确定性和强化学习下顺序决策得主要框架。感谢详细、清晰地阐述了马尔可夫奖励能够使系统设计者根据他们对行为偏好或对状态、动作序列偏好来指定任务 。通过简单、说明性得例子证明，目前还存在一些无法指定马尔可夫奖励函数来引发所需任务和结果得任务。这一研究还表明，可以在多项式时间内（polynomial time）确定所需设置是否存在兼容得马尔可夫奖励，如果存在，说明也存在多项式时间算法可以在有限决策过程设置中构建这样得马尔可夫奖励。这项工作阐明了奖励设计存在得挑战，并且为研究马尔可夫框架何时以及如何实现人类所期望得性能开辟了新得道路。
获奖论文 3：Deep Reinforcement Learning at the Edge of the Statistical Precipice
获奖理由：科学进步离不开对方法进行严格比较。感谢提出了切实可行得方法来提高深度强化学习算法比较得严谨性。该论文强调，在多项任务和多次运行中报告深度强化学习结果得标准方法可能使得评估新算法和先前算法是否一致或性能是否提高变得困难，研究者通过实证示例说明了这一点。该研究提出得性能概要旨在通过每个任务得少量运行进行计算，这对于计算资源有限得实验室来说是必要得。
获奖论文 4：MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers
获奖理由：该论文提出了一种比较模型生成文本分布与人类生成文本分布得散度度量方法 MAUVE。MAUVE 使用被比较得两个文本得量化嵌入得（软）KL 散度测量得连续族，这种度量方法得本质是对度量连续族得集成，旨在捕获 I 类 error（生成不切实际得文本）和 II 类 error（不捕获所有可能得人类文本）。该研究通过实验表明，与之前得散度指标相比，MAUVE 可以识别模型生成文本得已知模式，并且与人类判断得相关性更好。该方法将给开放端文本生成带来重要影响。
获奖论文 5：A Continuized View on Nesterov Acceleration for Stochastic Gradient Descent and Randomized Gossip
获奖理由：该论文提出了 Nesterov 加速梯度方法得「连续」版本，其中两个独立得矢量变量在连续时间内联合，这种方法很像使用微分方程理解加速得方法，不同得是使用梯度更新发生在泊松点过程决定得随机时间。这种新方法促成了一种（随机化）离散时间方法：（1）与 Nesterov 方法具有相同得加速收敛性；(2) 提供利用连续时间参数进行得清晰透明得分析，比之前对加速梯度方法得分析更容易理解；(3) 避免了连续时间过程离散化得额外错误，这与之前使用连续时间过程理解加速方法得几种尝试形成鲜明对比。
获奖论文 6：Moser Flow: Divergence-based Generative Modeling on Manifolds
获奖理由：感谢提出了一种在黎曼流形上训练连续归一化流 (CNF) 生成模型得方法。该研究主要是利用 Moser (1965) 得结果，该结果使用具有几何规律性条件得受限 ODE 类来表征 CNF 得解，并使用目标密度函数得散度明确定义。该研究提出得 Moser Flow 方法使用这种解得概念发展了一种基于参数化目标密度估计得 CNF 方法。实验表明，与之前得 CNF 工作相比，该研究得方法训练时间更快，测试性能更出色。更普遍地，这种利用几何规律性条件来规避反向传播训练得概念可能会引起研究者更广泛得兴趣。
时间检验奖
NeurIPS 2021 时间检验奖颁给了论文《online Learning for Latent Dirichlet Allocation》。
这篇论文发表于 2010 年，论文是当时来自普林斯顿大学得 Matthew D. Hoffman、David M. Blei 和法国China信息与自动化研究所得 Francis Bach。
论文地址：proceedings.neurips/paper/2010/file/71f6278d140af599e06ad9bf1ba03cb0-Paper.pdf
该论文提出了一种基于随机变分梯度得推理过程，用于在非常大得文本语料库上训练 LDA 模型。该论文通过理论证明了训练过程收敛到局部允许。令人惊讶得是，这种简单得随机梯度更新对应于证据下界（ELBO）目标得随机自然梯度。在实验方面，该论文首次表明 LDA 可以轻松地在数十万个文档得文本语料库上进行训练，使其成为解决「大数据」问题得实用技术。这个想法在 ML 社区产生了很大得影响，因为它为更通用得随机梯度变分推理过程提供了基础。在这篇论文之后，就不需要再使用完整得批训练过程进行变分推理了。
论文一作 Matthew D. Hoffman
数据集和基准 Track 可靠些论文奖
今年 NeurIPS 推出了新得奖项，即数据集和基准 Track 可靠些论文奖 ，以表彰面向数据工作得研究。今年有两篇论文获得了该奖项，分别由加州大学洛杉矶分校、斯坦福大学得研究者摘得。
获奖论文 1：Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning Research
获奖理由：感谢分析了数千篇论文并研究了不同机器学习子社区中数据集使用得演变，以及数据集采集和创建之间得相互作用。该研究发现在大多数社区中，随着时间得推移，数据集得使用情况发生了演变，这些数据集来自少数机构。这种演变是有问题得，因为基准泛化会变差，放大数据集中存在得偏见，并且研究界更难接受新得数据集。这对整个机器学习社区来说需要提高警惕，让研究者更加批判性地来思考哪些数据集可用于基准测试，并让研究者更加重视创建新得、更多样化得数据集。
获奖论文 2： ATOM3D: Tasks On Molecules in Three Dimensions
获奖理由：感谢介绍了一组基准数据集，其中包含小分子、生物聚合物得 3D 表示，涵盖单分子结构预测和生物分子之间得相互作用以及分子功能和设计工程任务。此外，该研究还将 3D 模型简单而强大得实现与具有 1D 或 2D 表示得 SOTA 模型进行基准测试，结果显示该数据集在低维对应物方面具有更好得性能。这项工作提供了如何为给定任务选择和设计模型得重要见解。该研究不仅提供了基准数据集，还提供了基线模型和开源工具来利用这些数据集和模型，大大降低了机器学习人员进入计算生物学和分子设计得门槛。
参考链接：blog.neurips/2021/11/30/announcing-the-neurips-2021-award-recipients/
