CVPR2023: 使用隐式神经辐射场解决恶劣照明环境下多物体交互的机器人控制问题
大家好！我是蔡彦成
Yancheng Cai
，复旦大学信息科学与工程学院大四学生，目前即将成为剑桥大学计算机科学一年级博士生。
我很高兴向大家介绍我于2022年在斯坦福大学Stanford Vision and Learning Lab完成的共同一作研究工作Multi-Object Manipulation via Object-Centric Neural Scattering Functions，该文章在CVPR2023获得两个Strong Accept, 已被CVPR2023接收。
arxiv: Multi-Object Manipulation via Object-Centric Neural Scattering Functions
我们如何在具有潜在恶劣照明条件的多对象场景中实现机器人Model-Predictive-Control？在#CVPR2023 上，我们将展示我们最近的工作，结合以对象为中心的神经散射函数OSFs和学习动力学模型来执行机器人控制！
我们首先使用以对象为中心的神经散射函数 (OSFs) 来表示场景中的每个对象，该函数不仅对空间体积密度（如 NeRFs）进行建模，而且还对来自远处光源的累积辐射传输进行建模——从而实现物体组合渲染和重新照明 ！
其次，为了从视觉观察中恢复物体姿态和光照姿态估计，我们进行了逆参数估计。具体而言，我们计算渲染图像与观察图像之间的光度损失，并进行无梯度优化。
最后，我们可以将这些物体表示与学习的图神经网络动力学模型相结合，该模型可以预测在机器人采取行动的情况下物体状态的变化。然后，我们可以执行模型预测控制，以实现指定的目标图像！
我们的方法解决了在具有挑战性的恶劣光照条件下的控制问题，并且在训练过程中只看到固定数量的物体的情况下，能够自然地泛化到具有可变数量物体的设置中。
感谢我的合作者Stephen Tian, Hong-Xing Yu, Sergey Zakharov, Katherine Liu, Adrien Gaidon, Yunzhu Li, Jiajun Wu。
论文已经发布于arxiv:
Multi-Object Manipulation via Object-Centric Neural Scattering Functions
项目主页：
Multi-Object Manipulation via Object-Centric Neural Scattering Functions