文章发表于CVPR 2019
论文地址:
http://arxiv.org/abs/1904.03377
目前绝大部分图像超分辨率算法,假设图像退化(LR图像获得)过程中的下采样模糊核是预先定义或已知的,如bicubic下采样,这类算法在应用于实际应用时,如果模糊核是复杂或未知时,图像超分辨效果会大大降低。文中,提出了Iterative Kernel Correction(IKC)迭代核校正算法用于盲图像超分辨率问题的模糊核估计,此外,作者还提出了一有效的图像超分辨网络结构SFTMD,使用spatial feature transform (SFT)空间特征转换层来处理不同模糊核。
Blind Super-Resolution:盲超分辨,假设图像的退化核函数是未知的。其问题公式化定义如下:
图像超分辨问题,在模糊核不匹配时,SR效果会造成过于模糊或产生振铃效应的后果,只有在模糊核匹配时,才会有较好的图像超分辨效果,如下图,右上部分过模糊,左下部分振铃效应,对角线上是较好的图像超分辨效果。
为了正确估计出模糊核,提出校正函数
C
<
本文介绍了如何使用无监督退化表示学习方法实现盲目超分辨率算法,并提供了相应的Python代码示例。通过搭建环境、加载模型和数据集,并按照步骤进行图像预处理和后处理,我们可以实现盲目超分辨率的图像重建,并通过测试和结果展示来评估算法的性能。这种基于无监督退化表示学习的盲目超分辨率算法可以帮助改善图像质量,在多个领域中具有广泛的应用潜力。在图像处理领域中,超分辨率(
Super
Resolution
)是一项重要的任务,旨在通过增加图像的空间分辨率来提高图像质量。使用步骤4中的代码对测试图像进行盲目超分辨率重建。
论文
:B
lin
d
Super
-
Resolution
With
Ite
rative
Kernel
Cor
rect
ion
论文
看得比较粗略,所以可能存在理解错误的地方,请指正(另外请忽略我糟糕的英语)
B
lin
d
Super
-
Resolution
With
Ite
rative
Kernel
Cor
rect
ion
Movtivat
ion
Estimate the
kernel
Cor
rect
the
kernel
MethodNetwork Arch
ite
cture of SR modelNetwork Arch
ite
c
也叫做
IKC
\qquad 迭代模糊核的方法是从模型退化的角度来思考SISR问题,它假设LR是SR若干模糊核H退化后得到,所以
论文
中想通过对多个(多种)模糊核进行建模学习,使的SISR网络可以学习到这些模糊核对SR的影响,从而学习LR到SR的映射关系。
\qquad
论文
中的网络结构分为三个部分,核估计结构(P),核矫正结构(C),主网络结构(SFTMD)
论文
采用迭代这三个部
b
lin
d和non-b
lin
d的区别用一句话来概括就是:是否假设退化核已知并将其作用于图像来做网络训练。
non-b
lin
d
Super
Resolution
: 这类方法在训练过程中都假设了退化核(也可以叫退化函数,其实就是degradat
ion
)已知,也就是说,在训练过程中一般都会使用一个确定的退化核从HR得到LR,然后来做训练。
深度学习做超分早期的大部分工作都是non-b
lin
d SR,一般过程是,把假设已知的退化核作用在图像上得到退化后的LR图像,用LR和HR来训练网络,得到的网络在面对同样退化核产
2019
前超分文章记录 SRCNN-FSRCNN-ESPCN-VDCN-DRCN-RDN-LapSRN-SRDenseNet
2019
CVPR
超分文章记录系列一:FSTRN-resLR-SRFBN-RBPN
1.B
lin
d
Super
-
Resolution
With
Ite
rative
Kernel
(
IKC
)
1.1 介绍
当预先定义的模糊核与实际模糊核不同时,基于学习的方法将遭受严重的性能下降。
将未知模糊核的超分问题我们定义为b
lin
d SR。这种设置比较符合实际真实情况。**所以这篇文章解决的是超分
这是发表在
2019
年 NIPS 上的一篇文章,那个时候还叫 NIPS,现在已经改名为 NeurIPS 了。文章中的其中一个作者 Michal Irani 是以色 Weizmann Institute of Science (魏茨曼科学研究学院) 的一名教授,对图像纹理的内在统计规律有着很深入的研究,提出了很多基于单帧图像的 GAN 模型。这篇文章也是提出了基于单张图像的一种 Internal-GAN 模型,也算是最早开始尝试研究用深度学习进行盲超分的工作,今天看来,依然有一定的借鉴意义。
Abstract(摘要)
目前的SR方法大多是基于固定且已知的一种下采样方法,如双三次下采样,但是当真实图片的情况与假设的方法不同时,即真实的图片因为各种各样的不确定性因素,图像有多重降质(含有下采样、模糊、噪声等等)的情况,此时网络结构的性能与在理想情况下相比会产生很大的误差。因此,如何使网络结构能够处理多重降质的情况,是一个重要的研究方向。
本文提出的方法
提出了一种无监督退化表示学习方案,具体的说,我们学习抽象表示来区分表示空间的各种退化,而不是像素空间的显式估计;
引入了一个退化感知(Degrad
Real-ESRGAN: Training Real-World B
lin
d
Super
-
Resolution
with Pure Synthetic Data
B
lin
d
Super
-
Resolution
:盲超分辨率
Pure Synthetic Data:纯合成数据
论文
研读申明
在b
lin
d
super
-
resolution
领域中:现实世界中,恢复具有未知和复杂退化的低分辨率图像(restore low-
resolution
images with unknownand complex
【
论文
精读系列】Real-ESRGAN
论文
标题:Real-ESRGAN: Training Real-World B
lin
d
Super
-
Resolution
with Pure Synthetic Data
论文
地址:https://arxiv.org/abs/2107.10833v2
作者代码:https://github.com/xinntao/Real-ESRGAN
在单张图片超分辨率(Single Image
Super
-
resolution
)的问题中,许多方法都采用传统的 Bicu
尽管在盲超分辨率中已经进行了许多尝试来恢复退化未知和复杂图像的低分辨率图像,但它们仍然远未解决一般的真实世界退化图像。在这项工作中,我们将强大的 ESRGAN 扩展到使用纯合成数据训练的实际实现应用程序(即 Real-ESRGAN)。具体来说,引入了一个高阶退化建模过程来更好地模拟复杂的现实世界退化。我们还在合成过程中考虑了常见的振铃和超调伪影。此外,我们使用具有光谱归一化的 U-Net 鉴别器来增加鉴别器能力并稳定训练动态。广泛的比较表明,它在各种真实数据集上比以前的工作具有更好的视觉性能。我们还提供有效