CVPR2023｜无偏4D：利用神经变形模型进行单目4D重建(新作速览)

Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model

code: https:// github.com/ecmjohnson/u b4d/

paper: https:// pan.baidu.com/s/1l96NHk SRpbheNh5TgyRRFw?pwd=g291

提取码:g291

无偏4D，#CVPR2023

+单目非刚性三维重建

+一般可变形对象

+神经变形模型

+不需要二维点轨迹或三维模板

+可选地接受特定于场景的粗略代理

https://www.zhihu.com/video/1627259922923663360

捕捉一般的变形场景对于计算机图形学和视觉中的许多应用至关重要，当只有场景的单眼RGB视频可用时，这尤其具有挑战性。竞争方法假设输入视图、3D模板、大规模训练数据集上的密集点轨迹，或者仅捕获小规模变形。与之形成鲜明对比的是，本文的方法没有做出任何这些假设，同时在具有挑战性的场景中显著优于先前的技术水平。此外，我们的技术包括两个新的非刚性3D重建组件，即1）非刚性场景的基于坐标的隐式神经表示，它能够实现动态场景的无偏重建，以及2）新的动态场景流损失，它能够重建更大的变形。本文将公开的新数据集的结果表明，在表面重建精度和对大变形的鲁棒性方面，与现有技术相比有了明显的改进。

Ub4D联合学习规范场景表示和到规范空间的每帧变形。提出了一种绘制方法，该方法对正则空间中的弯曲射线是可证明的无偏的，并使用SDF来避免密度公式的表面模糊性。

对于具有大变形的具有挑战性的场景，所提出的场景流损失通过使用粗略的几何代理来监督每帧变形场。