论文是学术研究的精华和未来发展的明灯。小黑决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。
本文提出了一种新的图像与点云交叉模态配准方法DeepI2P。给定在同一场景中不同位置捕获的图像(例如来自rgb相机)和一般点云(例如来自3D激光雷达扫描仪)，我们的方法估计了相机和激光雷达坐标帧之间的相对刚性变换。由于两种模式之间缺乏外观和几何关联，学习通用特征描述符来建立对应的配准本质上是具有挑战性的。我们通过将配准问题转化为分类和反摄像机投影优化问题来规避这个困难。设计了一种分类神经网络来标注点云中每个点的投影是在摄像机截锥内还是在摄像机截锥外。这些标记点随后被传递到一个新的反摄像机投影求解器来估计相对位姿。在Oxford Robotcar和KITTI数据集上的大量实验结果证明了我们的方法的可行性。
代码链接：https://github.com/lijx10/DeepI2P
论文创新点
本文的主要贡献如下：
-
我们规避了需要学习交叉模态特征描述符进行配准的挑战，将问题转化为两阶段分类和优化框架。
-
设计了一个具有注意模块的双分支神经网络来增强交叉模态融合，以学习三维点是在摄像机截锥内还是外的标签。
-
针对基于三维点分类标签的摄像机姿态问题，提出了摄像机反投影优化算法。
-
我们的方法和实验结果表明，可以在深度分类的情况下实现跨模态配准。
我们的网络体系结构针对分类问题
左边是基于特征的配准图，例如2D3D-MatchNet，右边是我们的无特征DeepI2P。我们将配准问题转化为分类问题，而不是跨模态检测和匹配特征。
从左到右迭代0 / 40 / 80时高斯-牛顿的可视化。绿色点划分为图像内视场。
三维可视化的截锥分类和反相机投影在Oxford (左)和KITTI (右)。
提出了一种图像与点云的交叉模态配准方法。将具有挑战性的配准问题转化为用深度网络解决的分类问题和用最小二乘优化解决的反摄像机投影问题。利用Oxford和KITTI数据集验证了本文提出的分类优化框架的可行性。
论文链接：https://arxiv.org/pdf/2104.03501.pdf
每日坚持论文分享不易，如果喜欢我们的内容，希望可以
推荐
或者
转发
给周围的同学。
本文仅做学术分享，如有侵权，请联系删文。
在「3D视觉工坊」公众号后台回复：
3D视觉
，
即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
在「3D视觉工坊」公众号后台回复：
3D视觉github资源汇总
，
即可下载包括
结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总
等。
在「3D视觉工坊」公众号后台回复：
相机标定
，
即可下载独家
相机标定
学习课件与视频网址；后台回复：
立体匹配
，
即可下载独家
立体匹配
学习课件与视频网址。
重磅！
3DCVer-
学术论文写作投稿
交流群
已成立
扫码添加小助手微信，可
申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时
也可申请加入我们的细分方向交流群，目前主要有
3D视觉
、
CV&深度学习
、
SLAM
、
三维重建
、
点云后处理
、
自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、
学术交流、
求职交流、ORB-SLAM系列源码交流、深度估计
等微信群。
一定要备注：
研究方向+学校/公司+昵称
，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。
原创投稿
也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球
：针对3D视觉领域的
视频课
程（
三维重建系列
、
三维点云系列
、
结构光系列
、
手眼标定
、
相机标定
、
orb-slam3
等视频课程）、
知识点汇总、入门进阶学习路线、最新paper分享、疑问解答
五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达小黑导读论文是学术研究的精华和未来发展的明灯。小黑决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容...
点云(Point Cloud)
DeepI
2P
: Image-to-Point Cloud Registration via Deep Classification(通过
深度
分类
的
图像
到
点云配准
)paper|code
FESTA: Flow Estimation via Spatial-Temporal Attention for Scene Point Clouds(FESTA：场景点云通过时空注意进行光流估计)paper
Denoise and Contrast for Category...
DeepI
2I：通过从GAN传输来实现
深度
分层的
图像
到
图像
转换
图像
到
图像
的翻译最近取得了令人瞩目的成果。 但是，尽管目前取得了成功，但当类之间的翻译需要较大的形状变化时，它的性能却很差。 我们将其归因于当前最先进的
图像
到
图像
方法所使用的高分辨率瓶颈。 因此，在这项工作中，我们提出了一种新颖的
深度
层次的
图像
到
图像
转换方法，称为
DeepI
2I。 我们通过利用层次特征来学习模型：（a）包含在浅层中的结构信息，以及（b）从深层中提取的语义信息。 为了能够在小数据集上训练
深度
I2I模型，我们提出了一种新颖的转移学习方法，该方法可以从预先训练的GAN转移知识。 具体来说，我们利用预先训练的GAN（即BigGAN或StyleGAN）的鉴别器来初始化编码器和鉴别器，并利用预先训练的生成器来初始化模型的生成器。应用知识转移会导致模型之间的对齐问题编码器和发生器。 我们介绍了一个自适应网络来解决
3 遇到大量cl.exe warning，不用管，不影响
4 cl.exe编译大量错误找不到解决办法，建议尝试换个高版本的vs。我从vs2015->vs2019，编译的错误少了很多。不知道原因。
4.参考：https://blog.csdn.net/qq_36810544/article/details/112241743
: member "torch::jit::detail::ModulePolicy::all_slo
针对当前机器视觉热点研究的配准问题，提出了一种全新的快速点特征直方图(FPFH)特征描述与Delaunay三角剖分相结合的三维
点云配准
方法。首先采用FPFH综合描述特征信息，通过Delaunay三角网建立特征信息的局部关联性；再根据特征点对的对应关系进行采样一致性初始变换，实现初始配准；最后，根据得到的初值采用迭代最近点法进行精确配准，获得精确转换关系。分别对简单目标物体及复杂目标物体进行配准实验。实验结果表明，将FPFH特征描述与Delaunay三角剖分结合引入传统
点云配准
，简化了特征提取复杂度，缩小了特征点对匹配的搜索范围，提升了配准精度及速度，实现对目标物体高效配准，对提高机器视觉特征点匹配效率具有一定指导作用。
入门知识、背景
点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）
点云
图像
是最基础也是最常见的三维
图像
点云的
分类
根据激光测量原理得到的点云，包括三维坐标（XYZ）和激光反射强度（Intensity）。强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。
根据摄影测量原理得到的点云，包括三维坐标（XYZ）和颜色信息（RGB）。
也可以两者结合
MATLAB是一个强大的数学计算软件，可以用于各种科学计算任务，包括
点云配准
。
点云配准
是一个三维形状分析的基本问题，它需要将两个或多个点云数据集进行比较，找出它们之间的变换关系，使得它们可以准确的重叠。
在MATLAB中，可以使用3dsc函数来计算
点云配准
。这个函数是一种基于最近邻搜索的
点云配准
算法，它通过计算两个点云之间的最近距离来确定它们之间的变换关系。如果两个点云之间存在一些相似的特征，那么这些特征可以用来计算两个点云之间的变换关系。
3dsc函数的输入参数有两个点云数据集，一个是参考点云数据集，另一个是待配准点云数据集。这两个点云数据集都可以通过MATLAB内置的点云处理工具箱中的函数来生成。另外，还需要指定一些参数值，例如搜索参数、采样参数、匹配参数等等，来优化
点云配准
的效果。
输出参数包括变换矩阵、
点云配准
误差等等。变换矩阵可以用来将待配准点云映射到参考点云的坐标系中，从而实现点云的准确重叠。
点云配准
误差可以用来评估
点云配准
的效果，对于不同的应用场景有不同的精度要求。
总的来说，在MATLAB中实现
点云配准
需要具备一定的数学知识和编程技能，同时要对点云处理工具箱中的函数有一定了解。虽然
点云配准
问题复杂，但是利用MATLAB的强大计算能力和点云处理工具箱中的函数，可以很好地解决这个问题。
