基于深度学习的高分辨率重建上采样算法总结_特征重排上采样

上采样实际上就是放大图像，指的是任何可以让图像变成更高分辨率的技术。它有反卷积(Deconvolution，也称转置卷积)、上池化(UnPooling)方法、双线性插值（各种插值算法）。下采样实际上就是缩小图像，主要目的是为了使得图像符合显示区域的大小，生成对应图像的缩略图。比如说在CNN中的池化层或卷积层就是下采样。不过卷积过程导致的图像变小是为了提取特征，而池化下采样是为了降低特征的维度。

1、【 ESPCN 】低分辨率feature maps的上采样方法：pixelshuffle

ESPCN的核心概念是亚像素卷积层(sub-pixel convolutional layer)。网络的输入是原始低分辨率图像，通过三个卷积层以后，得到的特征为r^2WH ，其中WH与输入图像大小相同，再将特征图像每个像素的 r^2个通道重新排列成一个 r*r 的区域，即将r^2WH特征经过重排得到rW*rH的输出，实现了图像r倍上采样。

pixel_shuffle = torch.nn.PixelShuffle(r)
output = pixel_shuffle(input)
其中r为上采样倍率。输入输出如下：
 比如input的shape是(1, 64, 20, 30), r = 2,
 而这个shape对
                                    导读我们提出了DySample，一个极其轻量级且高效的动态上采样器。在五个密集预测任务上超越了其他上采样器，包括语义分割、目标检测、实例分割、全景分割和单目深度估计。摘要我们提出了DySample，一个极其轻量级且高效的动态上采样器。虽然最近基于内核的动态上采样器如CARAFE、FADE和SAPA展现出了显著的性能提升，但它们引入了大量的计算负担，主要是由于耗时的动态卷积以及用于生成动态内核的额外...
                                    本文介绍IEEE TMM 2020 论文：用于解决上采样引起振荡的细化超分辨网络（Coarse-to-Fine CNN for Image Super-resolution），代码已开源...
                                    PixelUnshuffle就是PixelShuffle的逆操作。如下图可以看到，PixelShuffle是把输入通道按照缩放因子。PixelShuffle是一种上采样方法，它将形状为。功能： 是PixelShuffle的逆操作，把大小为。输入的第二组（后4个通道）中的元素，每次间隔。，PixelShuffle的 缩放因子是。交错排列，合并成输出的第一个通道维度。交错排列，合并成输出通道的第二个维度。是 0 或者batch大小。的张量重新排列转换为形状为。通道）中的元素，每次间隔。的张量重新排列为大小为。
                                    b3是yolov5中用到的focus操作，上述代码我用卷积实现了pixel_unshuffle操作， focus操作同理当然也可以利用卷积实现。pixel_unshuffle示意图：和focus不同的是最后的输出的通道排列顺序有差异。结果显示：b = b1 =b2 但是和b3不太一样.
                                    之前的高效网络都是基于低分辨率（360P/540P/640P），这次挑战的分辨率为720P或1080P，之前的性能就显得有些不足。本文的工作有重新评估一些复杂拓扑的网络架构，比如Enhanced Spatial Attention（ESA）和Residual Feature Distillation Block（RFDB这些结构可以提高SR网络的性能，但也会增加模型运行时间。所以本文的策略还是选择那些简单拓扑的网络，认为那是构建高效超分辨率网络的最佳选择。这些选择包括。
                                    这些函数的使用依赖于精确的参数设置和对应用场景的理解。每个函数都有其独特的应用范围和参数要求，如填充大小、缩放因子、插值模式等。在使用这些函数时，重要的是要注意它们在不同模式和参数下的行为，以及它们如何影响最终的输出结果。这些视觉函数为处理图像和视频数据提供了灵活而强大的手段，从基本的像素操作到复杂的空间变换，都是现代计算机视觉和深度学习应用不可或缺的部分。
                                    编者荐语超分辨率(Super-Resolution)即通过硬件或软件的方法提高原有图像的分辨率，图像超分辨率是计算机视觉和图像处理领域一个非常重要的研究问题，在医疗图像分析、生物特征识别、视频监控与安全等实际场景中有着广泛的应用。作者丨黄浴@知乎SR取得了显著进步。一般可以将现有的SR技术研究大致分为三大类：监督SR，无监督SR和特定领域SR（人脸）。先说监督SR。如今已经有各种深度学习的超分辨...
                                    这篇博客深入探讨了 PyTorch 深度学习框架中的几个关键的图像上采样和下采样子模块，包括, 和。每个模块的用法、用途、关键技巧和注意事项都进行了详细的说明。和分别用于图像的超分辨率提升和降采样处理，而Upsample提供了多种上采样方法，包括最近邻和双线性插值等。和则专注于 2D 图像的最近邻和双线性上采样。