北大斩获ICLR 2023杰出论文奖！清华人大、LeCun获提名！_Amusi（CVer）的博客

【导读】 ICLR 2023获奖论文名单出炉，来自北京大学的团队荣获杰出论文奖，清华、人大团队，以及图灵奖得主LeCun获提名。

近日，ICLR公布了2023年的获奖名单，共有4篇获最佳论文奖，5篇获荣誉提名。

其中，来自北京大学的张博航、罗胜杰、王立威、贺笛荣获杰出论文奖，来自清华大学的孔祥哲、刘洋，中国人民大学的黄文炳获得提名。

杰出论文奖

以下四篇论文因其出色的清晰度、洞察力、创造力和潜在的持久影响获得杰出论文奖。

1. 题目：Universal Few-shot Learning of Dense Prediction Tasks with Visual Token Matching

作者：Donggyun Kim、Jinwoo Kim、Seongwoong Cho、Chong Luo、Seunghoon Hong

机构：韩国科学技术院、微软亚洲研究院

论文地址：https://openreview.net/forum?id=88nT0j5jAn

本文提出了一种用于密集预测任务的少样本学习流程，例如语义分割、深度估计、边缘检测和关键点检测。本文提出了一个简单的统一模型，可以处理所有这些密集预测任务，并具有几个关键创新。这项工作有可能激发密集预测领域的进一步发展，其中提出的个别观点，如视觉token匹配和情景元学习，可以应用于相关的多任务学习问题。

2. 题目：Rethinking the Expressive Power of GNNs via Graph Biconnectivity

作者：张博航、罗胜杰、王立威、贺笛

机构：北京大学

论文地址：https://openreview.net/forum?id=r9hNv76KoT3

本文研究了作为GNN表达能力度量的双连通性。作者提出了一种利用节点间距离的新算法，并在合成和现实世界数据中进行了验证。委员会认为这项工作具有创新性、趣味性和技术上的可靠性。

3. 题目：DreamFusion: Text-to-3D using 2D Diffusion

作者：Ben Poole、Ajay Jain、Jonathan T. Barron、Ben Mildenhall

机构：谷歌研究院、加利福尼亚大学伯克利分校

论文地址：https://openreview.net/forum?id=FjNys5c7VyY

本文提出了一种在不需要3D模型作为训练数据的情况下，根据文本生成3D模型的方法。本文的关键思想是利用一个为基于文本的图像生成而训练的扩散模型，并通过将通常用于训练扩散模型的误差信号反向传播到3D模型的神经辐射场中来生成3D模型。

4. 题目：Emergence of Maps in the Memories of Blind Navigation Agents

作者：Erik Wijmans、Manolis Savva、Irfan Essa、Stefan Lee、Ari S. Morcos、Dhruv Batra

机构：佐治亚理工学院、Meta AI、西蒙菲莎大学、谷歌研究院、俄勒冈州立大学

论文地址：https://openreview.net/forum?id=lTt4KjHSsyl

本文呈现了一项新颖的、跨学科的研究，该研究基于认知科学和机器学习的见解。本文深入探讨了“blind”导航智能体所学习的表征以及这些学习到的表征是如何实现有效导航的。作者们提出了一项严谨的研究，系统地解开了相关研究问题。

1. 题目：Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning

作者：Zeyuan Allen-Zhu, Yuanzhi Li

机构：Meta AI、穆罕默德·本·扎耶德人工智能大学

论文地址：https://openreview.net/forum?id=Uuf2q9TfXGA

本文的广泛主题是为回合制、多阶段、多人游戏开发算法。论文提出了一种类似于自我对弈的策略，以找出一个好的「均衡」，并在一款在人类玩家中流行的复杂多人棋盘游戏上测试算法。新的想法是将寻找均衡策略与行为克隆相结合：如果算法需要在与人类玩家互动时保持竞争力，那么算法使用人类玩家能识别的策略是有意义的。

2. 题目：Mastering the Game of No-Press Diplomacy via Human-Regularized Reinforcement Learning and Planning

作者：Anton Bakhtin、David J Wu、Adam Lerer、Jonathan Gray、Athul Paul Jacob、Gabriele Farina、Alexander H Miller、Noam Brown

机构：Meta AI、麻省理工学院

论文地址：https://openreview.net/forum?id=F61FwJTZhb

本文试图通过考虑一种新的理论视角来理解蒸馏。作者的见解是，在自然的多视图结构下，没有蒸馏的神经网络可以被训练成仅依赖部分特征，但是有了蒸馏，这个问题可以得到缓解。为此，作者还提供了可以证明这一点的简化示例。

3. 题目：On the duality between contrastive and non-contrastive self-supervised learning

作者：Quentin Garrido, Yubei Chen, Adrien Bardes, Laurent Najman, Yann LeCun

机构：Meta AI、古斯塔夫·埃菲尔大学、巴黎高等师范学院、纽约大学

论文地址：https://openreview.net/forum?id=kDEL91Dufpa

自监督学习方法有效性的来源尚未被充分探究，特别是存在着看似毫无共同点但在实践中表现相似的不同方法家族/谱系。本文表明它们实际存在一些不容易发现的共同点。

4. Conditional Antibody Design as 3D Equivariant Graph Translation

作者：孔祥哲、黄文炳、刘洋

机构：清华大学、智源研究院、中国人民大学

论文地址：https://openreview.net/forum?id=LFHFQbjxIiP

本文研究了在给定抗原、抗体的重链和轻链的情况下的抗体设计。作者将问题构建为一个有条件的图生成任务，目标是生成CDRs中的氨基酸以及每个残基氨基酸中4个重原子的3D构象。本文有很多技术贡献，

5. 题目：Disentanglement with Biological Constraints: A Theory of Functional Cell Types

作者：James C. R. Whittington、Will Dorrell、Surya Ganguli、Timothy Behrens

机构：斯坦福大学、牛津大学、伦敦大学学院

论文地址：https://openreview.net/forum?id=9Z_GfhZnGH

本文展示了机器学习与神经科学之间有趣的联系。本文引入了生物学启发的约束，非负性和能效，并在数学上证明了这些约束导致线性网络的解缠。本文还从经验上证明，对于非线性情况，同样的约束也是有效的。

最初入围的论文有67篇，其中包括由区域主席或高级区域主席提名，以及获得高分的论文。筛选过程有两个阶段。

在第一阶段，每篇论文都被分配给一个主要评审，以确定论文是否应进入第二阶段；此外，委员会成员可以自愿推荐其他不在他们分配范围内的论文进入第二阶段。第一阶段结束后，有大约20篇入围论文。

在第二阶段，每篇论文都被分配给其他次要评审进行排名和与其他候选论文进行比较。第二阶段结束后，每篇剩余的候选论文都至少获得了三个独立评价。然后，根据第一阶段和第二阶段的委员会成员分享的排名和推荐意见，将名单缩减到9篇论文。

为了保证公平公正，论文分配是保密的。而且只有不存在利益冲突的委员会成员才能阅读或推荐论文，无论是基于领域冲突，还是基于个人关系冲突（如朋友或前导师）。

参考资料：

https://blog.iclr.cc/2023/03/21/announcing-the-iclr-2023-outstanding-paper-award-recipients/

点击进入—> 【计算机视觉】微信技术交流群

最新CVPP 2023论文和代码下载

后台回复： CVPR2023， 即可下载CVPR 2023论文和代码开源的论文合集

后台回复： Transformer综述， 即可下载最新的3篇Transformer综述PDF

目标检测和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer333，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer333，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉，已汇集数千人！
▲扫码进星球
▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【计算机视觉】微信技术交流群转载自：新智元 | 编辑：好困【导读】ICLR 2023获奖论文名单出炉，来自北京大学的团队荣获杰出论文奖，清华、人大团队，以及图灵奖得主LeCun获提名。近日，ICLR公布了2023年的获奖名单，共有4篇获最佳论文奖，5篇获荣誉提名。其中，来自北京大学的张博航、罗胜杰、王立威、贺笛荣...

<h3>回答1：</h3><br/>I CLR 是国际计算机学会和机器学习领域相关的研究人员组成的国际会议，每年会发布一系列的AI前沿论文。在2021年的I CLR 会议上，有一篇论文介绍了一种新的注意力模块，即SimAM。 SimAM 的全称为 Similarity-based Attention Module，是一种基于相似度的注意力模块，能够对输入的信息进行选择性地加权处理。这种模块的主要特点是在保证计算效率的情况下，提高了注意力机制的精度。具体来说，SimAM利用了序列信息中与目标序列相近的信息进行加权，避免了传统的注意力机制中需要注意所有信息的局面，从而提高了注意力机制的精度。同时，SimAM还与Transformers结合使用，可有效地提高自然语言处理中的文本分类等任务的准确率。综上所述，SimAM是一种新型的注意力模块，应用于深度学习系统可以提高计算效率和准确率，特别适用于自然语言处理任务。这篇I CLR 的论文对深度学习领域有重要意义，未来有望引领注意力模块发展方向。 <h3>回答2：</h3><br/>I CLR 是全球机器学习与 人工智能 领域的一项顶级学术会议，是 人工智能 领域内最有权威性的会议之一，每年汇集了学术界和工业界的最新进展和顶尖水平。在I CLR 2020上，提出了一种新的注意力模块——SIMAM，引起许多学者和业内人士的关注。 SIMAM是什么呢？它全称为“Self-Attention Augmented Convolutional Neural Network with SIN and SAM”，可以译为“带有SIN和SAM的自注意力增强卷积神经网络”。SIMAM主要是通过引入自注意力机制和Squeeze-and-Excitation模块，来增强卷积神经网络的表达能力和性能。首先，自注意力机制是指对于每一个输入特征，都可以计算其与自身在不同位置之间的相互关系。因此，自注意力机制可以更加准确地捕捉输入特征之间的关系，帮助网络更好地理解复杂模式，并提高分类和定位等任务的准确性。其次，Squeeze-and-Excitation模块是一种轻量级的结构，可以自动学习每个通道的重要性权重，并将其应用于输入输出之间的映射过程。这种模块不仅可以增强网络的表达能力，还可以减少模型参数和计算量，提高模型的效率和可移植性。总结来看，SIMAM是一种新型的，具有自学习和自适应性的注意力模块，可以用于各种分类、定位和语义分割任务等，具有较好的性能和效率。SIMAM的出现提高了我们对于注意力机制的理解和应用，为卷积神经网络的发展带来了新的方向和可能。 <h3>回答3：</h3><br/>I CLR （International Conference on Learning Representations）是一个重要的机器学习领域的国际学术会议，其中关于机器学习模型中“注意力机制”的研究是大热门的研究方向。而SIMAM则是I CLR 2021上关注的注目模块之一。 SIMAM是一种适用于自然语言处理中的多头模型中的注意力机制。它是通过使用适应性幂平均数（adaptive power mean）函数，将多个注意力分配权重求平均来实现的。SIMAM通过适应性动态地调整参数，从而使得系统更加适应复杂的自然语言处理任务。与此同时，SIMAM还具有减少注意力规模和缓减注意力水平变化的优点。 SIMAM模块将不同的注意力查询（即查询序列）进行分类，而它的分类能力则是由其高效的适应性权重计算技术所支撑的。适应性幂平均数是一种在条件预测任务中胜任的算法，其性能与其他方法相当。因此，在语言理解等自然语言处理任务中，SIMAM模块可以帮助减轻注意力集中的问题，并提高模型的泛化和鲁棒性能。在I CLR 2021上，对SIMAM模块的讨论是基于其在自然语言处理任务中的应用。多篇论文着重介绍了SIMAM模块在机器翻译、情感分析、问答系统等任务中的表现，以及如何使用SIMAM模块来改善多个现有模型的性能。因此，SIMAM模块可以被看作是一种可适应多个自然语言处理模型的注意力机制，它能够帮助模型更好地应对语义问题和规模较大的数据集。当然，与其他注意力机制一样，SIMAM模块也需要在不同的任务和环境中进行不断改进和优化。未来SIMAM模块将继续在自然语言处理领域推向前沿。