相关文章推荐
温柔的可乐  ·  PDOStatement::execute ...·  1 年前    · 
礼貌的高山  ·  MySQL :: MySQL 8.0 ...·  1 年前    · 
坏坏的丝瓜  ·  javascript - How to ...·  1 年前    · 

19CVPR 结果早就出来了,最近才读到的19年oral的去模糊工作。博主认真的搜了一下18年的CVPR,deblurring 相关的oral为zero,底层图像复原的oral工作也很少。因此,十分兴奋看到deblurring的oral工作。

文章介绍了一种使用双目视觉实现去模糊的端到端基于深度学习的算法。所谓双目视觉,就是存在左视和右视两张图像。通过结合两张图像的信息,实现去模糊和过程。双目视觉在图像领域中十分常见,例如仿生机器人的两个摄像头,手机双摄,无人驾驶飞行器等等。(博主观点:对一个应用问题,如果有多帧图像,有更多的信息那就应该用。这点区别于学术研究)

Observation

针对一个这样的双目视觉的问题,作者提出了两个观测:

  1. 模糊程度和场景深度相关:如下图的第一行所示,距离成像探测器近的绿色框内,模糊的程度大,具体表现为局部块模糊的尺寸更大;为距离成像探测器较远的黄色框内,局部模糊程度更小。
  2. 左视和右视的模糊不同:对比下图的上下两行信息,在绿色框区域,模糊的方向和尺寸上存在一定的偏差。

Analysis

根据上面的两个观测,启发作者在实现双目视觉去模糊 的时候利用上述两个信息。在利用上述信息之前,先细致的分析这个observation。分别将两个observation定义为:depth-varying blur和view-varying blur.

Depth-varying blur

画出一个简单的模型,如图二所示。从Fig. (2)(a)中,我们可以得出结论,

f 反相关的。简单验证了第一个observation。(为什么是简单,因为模糊程度虽然和深度相关,但是我们还是认为不绝对,比如一个距离你近的人和一个距离远的车,也许距离远的车模糊程度更高。因此前提还是前后两个目标的速度相似)

View-varying blur

第二个observation说的是两个视点的模糊程度是不一致的。作者从平移和旋转两个角度来说明。 注意:平移是指物体的平移,旋转是指相机的旋转
如图二(b)所示 目标平移 时,当目标沿着深度方向移动时,可以得出如下结论

\Delta X _ { L } / \Delta X _ { R } = \overline { P _ { t } M } / \overline { P _ { t } N } = h / ( h + b ) Δ X L / Δ X R = P t M / P t N = h / ( h + b )

那么说明两个视点的模糊分别为 v _ { C _ { L } } / v _ { C _ { R } } = \overline { C _ { L } O } / \overline { C _ { R } O } v C L / v C R = C L O / C R O
两个视点的线速度的方向和大小都不同,说明目标在成像面的模糊核方向和大小都不同。
图在这里插入图片描述

为了解决双目视觉去模糊的问题,设计的方法就是要建模上述的两个观测。设计的网络结构如下图所示。
博主将网络结构分成了三块,去模糊,估计深度信息,和融合网络。
在这里插入图片描述

这两个网络结构类似,输入不同,功能不同。都是用U-NET搭建而成,中间引入了空洞ResBlock 和context module(其实就是ASSP,只是改了空洞卷积的参数,ASSP可见DeepLab原文)。(博主认为这是一些很tival和experimental的东西,我最关心的是如何建模上述的两个观测)
在这里插入图片描述

融合网络就是要将上述提到的两个观测和去模糊问题实现有机的融合。因此融合的内容分为三个部分, 一个是去模糊的特征: F _ { \text {views} } ^ { L } = F ^ { L } \odot \left( 1 - G ^ { L } \right) + W ^ { L } \left( F ^ { R } \right) \odot G ^ { L } F views L = F L ( 1 G L ) + W L ( F R ) G L 所示的函数,这样获得了建模视点间差异信息和特征 F d e p t h L
上述三者结合就实现了同和网络。
在这里插入图片描述

这里其实不是很明白只是比较了单目的图像去模糊算法,其实存在多目的图像去模糊方法,不知道为什么没有比较。具体实验可以间原文。
在这里插入图片描述
在这里插入图片描述

总结(博主总结)

  1. 作者针对双目去模糊的问题(相关工作很少)采用了统一的深度学习框架进行了实现,取得了较好的效果
  2. 作者对问题进行观测,分析,建模,实验。是当前浮躁深度学习(黑箱子)中不错的工作。
Linux下环境配置(Anaconda为例)一、安装Linux环境双系统安装安装为虚拟机二、下载并安装Anaconda下载官网下载清华大学开源镜像网站下载安装三、配置环境使用anaconda新建一个环境激活环境并配置激活环境安装pytorch 0.4.1安装easydict、tensorboardX安装- pyexr四、配置环境中可能会遇到的错误CondaHTTPError程序 'vim' 已包含在下列软件包中: * vim * vim-gnome * vim-tiny如何解决?Ubuntu “无法获得锁” Binocular Image Dehazing,双目图像去雾,也就是左右双眼的两张图(相机同理),左上左下分别是左眼与右眼看到的带雾的图像,右上和右下分别是左眼和右眼去雾之后的结果。 左上:输入左雾图像。左下:输入右雾图像。右上:去雾左图像。右下:去雾右图像 也是基于雾天退化模型的去雾算法,根据已知的有雾图像求解出透射率和全局大气光 。 原理图如下: 图(a)双目图像去雾网络(BidNet)的总体架构。... Learning A Sparse Transformer Network for Effective Image Deraining基于Transformer的方法在图像去雨任务中取得了显著的性能,因为它们可以对重要的非局部信息进行建模,这对高质量的图像重建至关重要。本文发现大多数现有的Transformer通常使用查询-键对中的所有token的相似性进行特征聚合。然而,如果查询中的token与... ATOM: Accurate Tracking by Overlap Maximization 论文 地址 代码地址 这是MD大神19年新作,按照传统,还是有高深的数学推导和什么Gauss-Newton,总之是看不懂的东西,理论很强了,然后他们用的还是SIamese的框架,说明现在Siamese框架确实很promising的,用了IoUNet来提精度,也引入了很多机制,比如尺度变化、Ha... 今天首度解读一篇 CVPR 19 oral 论文 ,利用事件相机将 模糊 视频还原成高速清晰视频。该文利用了目前火热的事件相机,巧妙的利用多传感器之间的互补特性,且具有很好的推广应用价值。过去大家做图像的去 模糊 ,一般只会考虑普通相机采集到的图片,通过估计 模糊 的核函数,来为图像做去 模糊 ,而这里引入了一个高速的事件相机,通过两个有互补特性的sensor, 为其特性和两者采集数据之间的关系进行建模,把问题formu... 曾经很长一段时间, 对图像去 模糊 都有一种偏见, 认为这是一个灌水的领域, 没有什么实用价值,要到这样的文章,不管是多高的档次, 直接pass。 最近在调研最近几年的关于Computational Photography的一些研究热点时, 发现图像去 模糊 这个领域非常活跃, 一些效果图还是蛮有意思的。 于是大概浏览了其中的几篇文章, 慢慢地我的这种偏见也消失了。 当数码消费电子日益普及的时候, 这项技术确实非常有用。 它能挽救相当一批由于曝光时间过长或者拍摄 时手的抖动造成的 模糊 照片。 图像的 模糊 按照 模糊 点击上方“AI算法修炼营”,选择“星标”公众号精选作品,第一时间送达本文是收录于 CVPR 2020的工作,我是被双目图像去雾的题目所吸引的,其实整个工作的创新性不高,但是可以从中学到数据集... 一、Abstract: 动态场景去 模糊 是一项具有挑战性的低级视觉任务,其中空间变化 模糊 是由许多因素引起的,例如相机抖动和物体运动。 最近的研究取得了重大进展。 与参数独立性方案[19]和参数共享方案[33]相比,我们通过提出通用有效的选择性共享方案,开发了约束去 模糊 网络结构的一般原则。 在每个标度的子网中,我们提出了一个嵌套的跳过连接结构,用于非线性变换模块,以替换堆叠的卷积层或残余块。 此外,我... Computer Vision Resources A list of resources dedicated to Computer Vision. Any suggestions and pull requests are welcome. Papers & Code 文章目录Computer Vision ResourcesPapers & CodeReIDGanNASVid... 本文继续总结 CVPR 2021 底层图像处理相关 论文 ,包含图像/视频去 模糊 和图像/视频去雾。共计 14 篇。大家可以在:https://openaccess.thecvf.com/ CVPR ...

去模糊网络和深度估计网络