这篇文章 不再是只针对Single-Image做超分，而是主要为了提升视频的分辨率；本文由 Twitter 推出了一种称之为 VESPCN 的网络结构，主要利用 运动估计模块 和 时序空间模块 来对连续帧输入做超分。VESPCN是第二代 ESPCN ，解决了ESPCN无法利用视频具有高度时间冗余的特点，因此VESPCN将ESPCN升级成Spatial-Temporal-sub-pixel卷积网络，并结合运动补偿完成视频超分任务，此外VESPCN在single-Image上可以减少一定程度的资源消耗。

参考目录：
① 深度学习端到端超分辨率方法发展历程
② Pytorch代码-VESPCN
③ 论文笔记 |《Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation》
④ （VESPCN）Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation
⑤ [video super resolution] ESPCN论文笔记
⑥ 3D卷积(动图)

Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation

• Abstract
• 1 Introduction
• • 1.1 Related work
  • 1.2 Motivation and contributions
• 2 Methods
• • 2.1 Sub-pixel convolution SR
  • 2.2 Spatio-temporal networks
  • • 2.2.1 Early fusion
    • 2.2.2 3D convolutions
    • 2.2.3 Slow fusion
  • 2.3 Spatial transformer motion compensation
• 3 Experiments and results
• • 3.1 Experimental setup
  • • 3.1.1 Data
    • 3.1.2 Network training and parameters
  • 3.2 Spatio-temporal video SR
  • • 3.2.1 Single vs multi frame early fusion
    • 3.2.2 Early vs slow fusion
  • 3.3 Motion compensated video SR
  • 3.4 Comparison to state-of-the-art
  • • 3.4.1 Quality comparison
    • 3.4.2 Efficiency comparison
  • 4 Conclusion

  Abstract

  ①：VESPCN是 ESPCN 的升级版本，ESPCN在视频超分上只是单纯地处理每一帧图像，将每一帧图像看成是独立的个体，因此其没有很好地利用视频中帧与帧之间高度的时间冗余关系，因此为了利用起视频的这个天然优势， 作者将时间冗余信息加入到ESPCN中，并结合运动补偿模块来形成VESPCN ——一个主要应用于视频超分的算法。

  ②：具体来说，如下图所示：
  

  1. VESPCN主要由Spatio-Temporal网络和Motion-Estimation网络组成 。Spatio-Temporal网络是以ESPCN为基础的SR网络，其主要利用亚像素卷积层来进行上采样，此外该模块需要结合early fusion、slow fusion或者3D卷积来将时间信息加入进来。
  2. 运动补偿模块以 STN网络 为基础，预测出前后帧的像素值，由于STN网络本身就是可导的，因此整个运动补偿+时序空间网络的训练是一个端对端的训练。 VESPCN中整个运动补偿网络在VSR中本质就是个时间对齐网络，其基于Flow-based方法，属于Image-wise 。

  ③：VESPCN通过利用了视频的时序冗余特性，在视频超分上取得了不错的重建表现力，同时可以到到 real-time 的效果；不仅如此，VESPCN还可以应用于 Single-Image 。

  ④：VESPCN在当时公开的数据集上取得了SOAT的表现，证明了时序空间网络和运动补偿网络的结合对于视频超分有着重要的意义。

  1 Introduction

  1. SISR 只对单张图像做处理，其一般包括特征提取、上采样、重建等过程，核心是利用了单张图像内部的空间冗余来弥补

     1.2 Motivation and contributions

     
     如上图所示是VESPCN的整体网络结构，从中我们可以知道以下几个方面：

     1. VESPCN由运动补偿网络和时序空间网络组成，是一个端对端的网络框架。其中运动补偿网络基于STN网络，而时序空间网络是结合了ESPCN的亚像素卷积层(上图绿色箭头的过程)以及诸如 early fusion 、 slow fusion 、 3D卷积 等将时间信息和图像特征信息一起融合进行训练的Spatio-Temporal网络——利用了视频中高度的时间冗余特点，也 正是因为有了这三种特征融合方式，才使得我们从SISR到视频超分的转变 。
     2. VESPCN的输入是相邻帧，输出一般是当前时间步对应的高分辨率图像。
     3. VESPCN结构清晰，从左到右分别是相邻3帧连续视频、运动补偿网络、时序空间网络、亚像素卷积网络(也可以放到时序空间网络内部一起统称spatio-temporal network)

     2 Methods

     2.1 Sub-pixel convolution SR

     超分的目标就是将 r 为SR缩放倍率，具体可参考我的另一篇 PyTorch之PixelShuffle 。

  2.2 Spatio-temporal networks

  作者在ESPCN文章末尾的展望中写道：ESPCN无法利用好视频中的时间信息，其只是机械的一帧一帧独立去处理，因此作者将会在ESPCN的基础上利用视频时间冗余的特点，即 在原本图像二维的基础上新增时间维度，然后利用3D卷积去提取特征 ，这就是ESPCN的进化版本—— Spatio-temporal network ，即时序空间网络。

  图像层面的特征提取本质是利用了图像中的空间冗余性质，采用一个卷积核去逐步提取图像的特征信息；而对于视频来说，除了像素间的空间冗余特性，还有相邻帧之间的时间冗余特性。因此在时序空间网络中我们引入时间维度

  1. Early fusion。
  2. Slow fusion。
  3. 3D convolutions。

  接下来我们分别介绍下这3种方式。
  Note：

  1. 在接下来的3种方式中，彩色图像表示feature map拥有时间维度，其具有多种时间信息的融合，而灰色图代表只具备一种时间信息(时间维度为1)或者忽略时间信息(具体见2.2节图)。
  2. 为了方便介绍，我将原论文种2.2.2和2.2.3顺序颠倒了一下 。
  3. Large-scale Video Classification with Convolutional Neural Networks 这篇文章介绍了Late fusion、Early fusion、Slow fusion三种融合方式的对比，有兴趣的可以看看，不看也不影响本文的理解。

  2.2.1 Early fusion

  
  Early fusion 是最简单的一种时序融合方式，如上图所示，它只需要在卷积之前的输入层就直接concat不同时序的信息(这种就是通常的多通道卷积)或者说对各个时间帧做分组卷积，最后再concat起来(上图展示的就是这种方式，相比而言后者可节省更多的参数，但是可能会造成泛化能力的下降)，图中 G 为分组个数。Pytorch分组卷积实现：

nn.Conv2d(in_channels*groups, out_channels*groups, kernel_size, groups=groups, stride=stride,
                             padding=(kernel_size // 2), bias=bias)
2.2.2 3D convolutions
 
3D卷积是Slow fusion的权重共享版本，3D卷积核它在时间维度上共享参数，因此这是一种省资源的做法。多通道卷积的滤波器只是在2D平面上左右上下移动，而3D卷积可以在2D平面以及时间轴上移动。3D卷积的对象是 
    T×H×W的立方体，对于每个立方体都用一个小立方体滤波器去抽取特征，并且共享同一组参数，不同通道才使用不同的滤波器参数，3D卷积只是其本身卷积核存在一个“深度”，其卷积核是个3D窗口，因此就会造成和多通道2D卷积因深度不同而产生不同参数相对应，从而就有了3D卷积权重共享这种说法。
 Note：
 
3D卷积的PyTorch实现Conv3d：输入图像： 
      (N,C∗T,H,W)的2D卷积，这在这篇文章Understanding Deformable Alignment in Video Super-Resolution中也得到了验证。
 
2.2.3 Slow fusion
 

 Slow fusion是每次融合指定的帧数，如 
     dl​=2的特征，也是依次将相邻的两帧逐个提取，但是区别在于每次卷积不同的相邻2个时间帧都是使用不同的卷积核(这里是二维卷积核)，具体图示如下： 
2.3 Spatial transformer motion compensation
 
在已经有了3D卷积之后，为什么还需要运动补偿这个模块？
 ①其实只使用时序空间网络就可以将视频中的时间详细利用起来，从而可以运用到视频超分中去。而如果再加入本文提出的运动补偿模块，就可以进一步提升视频重建的质量，因此将运动补偿模块和SR网络(spatio-temporal network)结合起来比单独使用时序空间网络超分视频更好。
 ②通过基于光流的运动补偿可以作为对齐模块来使得支持帧的估计值靠近参考帧。而对齐之后的相邻帧输入给SR网络可以利用时间和空间相关性来提升网络性能。
 接下来我们开始正式介绍基于STN的运动补偿网络结构，其本质就是用来做视频帧对齐的。
 
VESPCN的运动补偿是用Spatial transformer network(以下简称STN)的时间版本(STN变体——TSTN)来做的，它的整体输入是视频中 
    It+1′LR​的估计值。这个求估计值的过程就是STN所做的事情。
 Note：




    
 
具体如何求出估计值需要涉及到STN中Localisation network、parameterised Sampling Grid以及Differentiable sampling三个过程了，他们分别是为了求出变换矩阵、求出输出feature map在输入feature map上相对应的坐标、根据坐标以及输入feature map来通过重采样求出输出feature map。
STN的baseline和本文中用到的STN略微有点不一样，但是核心思想还是一样的。在STN-baseline中，我们先学得一个变换矩阵，然后遍历输出网格点坐标一一映射到输入feature map上得到相应得亚像素坐标；最后通过双线性插值获得最终得输出图像。而在VESPCN中，我们是先学会两帧之间的运动估计，得到运动矢量 
         I_{t+1}^{'LR}(x,y) = \mathcal{I}\{I_{t+1}\underbrace{(x+\Delta_{t+1}x,y+\Delta_{t+1}y}_{sampling \;grid})\}\tag{1} 
     It+1′LR​(x,y)=I{It+1​samplinggrid 
    It+1′​=I{It+1​(Δt+1c​+Δt+1f​)}。Wrap的源码如下：
 
def warp(self, img, flow):
	# img:I_{t-1}或者I_{t+1}
	# flow:运动估计模块的输出\Delta^c
	# self.identity_flow:I_t的所有标准网格点->(1, H, W, 2)
    img_compensated = F.grid_sample(img, 
    								(-flow.permute(0, 2, 3, 1)+self.identity_flow).clamp(-1, 1),  # 式(1)的sampling grid
    								mode='bilinear',  # 双线性插值
                                    padding_mode='border')
    return img_compensated  # 估计值I'_{t+1}
③：第一次变换使用early fusion，其将相邻两帧在通道维进行concat，然后像普通卷积那样提取特征；第二次变换也是将5个数据在通道维进行concat，然后做卷积。
 Note:
 
从上图中看出，整个运动补偿模块中，光流信息的顺序依次是 
     [−1,1]之间，这其实是为了避免变化过大导致误差不可控制，较小的变换可以通过增加迭代次数来让估计值不断缩小和原图的差距，这就有点像梯度下降中，在训练后期往往选用较小的学习率来控制更新步伐。
第二次运动补偿输入的特征信息更多，且运动矢量考虑了新旧两次运动矢量的信息，因此他会产生更加精确的估计值。
 
运动补偿模块的训练：
 运动补偿模块的Loss函数：
  
         \theta^*_{\Delta,t+1} = \argmax_{\theta_{\Delta, t+1}}||I_t - I'_{t+1}||^2_2 + \lambda\underbrace{\mathcal{H}(\partial_{x,y}\Delta_{t+1})}_{Huber\;loss}.\tag{2} 
     θΔ,t+1∗​=θΔ,t+1​argmax​∣∣It​−It+1′​∣∣22​+λHuberloss 
         \mathcal{H}(\partial_{x,y}{\Delta}) = \sqrt{\epsilon+\sum_{i=x,y}(\partial_x \Delta i^2 + \partial_y \Delta i^2)} 
     H(∂x,y​Δ)=ϵ+∑i=x,y​(∂x​Δi2+∂y​Δi2) 
            ​，其中 
      It+1​之间的效果，故这样会使得帧与帧之间比原样本之间更加连续了。个人认为这也是之所以需要增加运动补偿模块的原因，也正是因为添加了这个模块，使得表现力会比单独一个spatio-temoral network重建的表现力更好！




    
 
VESPCN的运动补偿模块可以直接和后面的SR网络相连，并且STN和spatio-temporal network都是可以训练的，从而两者可相连形成一个端对端的网络。具体的训练Loss如下：
  
         (\theta, \theta^*_{\Delta}) = \argmin_{\theta, \theta_\Delta} \underbrace{||I_t^{HR} - f(I_{t-1:t+1}^{'LR};\theta)||^2_2}_{SR\;loss} + \underbrace{ \sum_{i=\pm 1}[\beta||I_{t+i}^{'LR} - I^{LR}_t||_2^2 + \lambda\mathcal{H}(\partial_{x,y}\Delta_{t+i})]}_{compensation \;loss}.\tag{3} 
     (θ,θΔ∗​)=θ,θΔ​argmin​SRloss 
                  i=±1∑​[β∣∣It+i′LR​−ItLR​∣∣22​+λH(∂x,y​Δt+i​)]​​.(3)如公式(3)所示，VESPCN的总体loss由SR网络的loss和运动补偿模块的loss共同组成。
 
3 Experiments and results
 
实验的核心主要是为了分析单独使用spatio-temporal network对视频超分的表现力以及增加运动补偿模块之后对视频超分表现力的影响。
实验只针对SR缩放系数为 
          HW\cdot D_{l+1}n_{l+1}[\overbrace{(2k_l^2d_l-1)n_l}^{convolutions} + \underbrace{2}_{bias \;\&\; activation}].\tag{4} 
      HW⋅Dl+1​nl+1​[(2kl2​dl​−1)nl​ 
    HR−LR对；其中150个作为验证集，剩余2850个作为训练集；其余的15个高清视频作为测试集。
 
 
实验中一些SR方法的对比都是在相似超参数的情况下对比的，比如：
 
卷积核大小都为 
    D0​=3,5,7来进一步探究不同输入帧个数会带来什么影响，我们分别命名为E3、E5、E7。对于模型复杂度，我们对网络设置6-11层卷积层，共6种情况下带来的表现力影响。
 实验结果如下图所示：
 
 Note：
 
 
从结果中可得出以下结论：
 
利用了时间冗余的时序空间网络具有比ESPCN这种只能独立一帧一帧处理视频的方法具有更好表现力。
对于Early fusion来说，不同输入帧所造成的复杂度是微小的，因为只是在输入帧的时候造成了复杂度的影响，接下去都直接合并然后输出相同的 
     D0​=5；此外根据公式(4)，Slow fusion只需要更少的浮点操作。
在7层卷积层下，Early fusion拥有比Slow fusion更好的表现力，但是在9层下，Slow fusion在拥有更高的计算效率下兼具和E5一样的表现力，这说明了浅层网络下，early fusion比Slow fusion更合适，但是深层网络下，Slow fusion比Early fusion更好！
3D卷积模式展现了最佳的计算效率，这是因为它有很多参数可以共享，但带来的缺陷就是表现力不足，泛化能力还有待提升。从实验中看，7层的E5不管在效率还是在表现力上都超过了9层的S5-SW。
S5和S5-SW都展现了比SF(ESPCN)更快的执行速度，意味着spatio-temporal network展现了比ESPCN更加高效的特性，且表现力还能提升！
 
3.3 Motion compensated video SR
 
这一节开始我们探究：
 
运动补偿的功能。
研究运动补偿模块为SR带来的影响。
 
Note：
 
    D0​=3)，我们得出的实验结论如下：
 
E3-MC对SF在PSNR的提升是E3对SF的2倍左右，这意味着有MC的SR网络在视频超分上可以最大化利用时间冗余信息，这也证明了MC模块产生更加连续的时间信息会造成SR网络产生更加不错的表现力提升。
 
 
在这一节我们将VESPCN和SRCNN、ESPCN、VSRnet进行对比，其中VESPCN设置2个变体：5L-E3(Early fusion，5层卷积层，且 
    D0​=3，包含运动估计模块)。评价指标为PSNR/SSIM、MOVIE。
 Note：
 
MOVIE指标是一个用于评价视频质量的指标，它表征了人类对视频质量的感知以及对视频连续性的评价。该值越小越好。
 
3.4.1 Quality comparison
 
实验结果如下图所示：
 
 实验结论：
 
VESPCN在表现力上碾压其余几种算法的存在，从PSNR、SSIM、MOVIE上就可以看出来。
有MC的VESPCN展现的时间连贯性有效降低了MOVIE，说明了MC产生的时间连贯性对SR表现力的提升很有作用。
 
3.4.2 Efficiency comparison
 
模型的复杂度受到网络结构和输入图像大小两方面影响。
 
实验结果如下：
 
 
SRCNN和VSRnet都采用将输入图像先进行上采样，然后在 
     LR层级特征提取，然后最后使用亚像素卷积层来进行上采样。后者因为采用更加高效的方式使得计算复杂度大大降低。
从3.2.2节可以可知，spatio-temporal网络拥有比SF更加高效的特性，因此在本次实验中，5L-E3也展现了比ESPCN更加快速的运算。
此外，拥有运动补偿的9L-E3-MC的计算效率也不错！
 
4 Conclusion
 
文章推出了一种具备实时特性的视频超分方法，其将ESPCN的亚像素卷积层和3种时间空间融合的方式(early fusion、slow fusion、3D卷积)进行结合，产生了ESPCN的加强版本——spatio-temporal network，它利用了视频时间冗余特性，在运算效率和表现力上都强于ESPCN在视频上的处理。
文章推出了一种STN的变体——运动补偿模块，它可以和spatio-temporal网络联合训练，使得VESPCN可以进行端对端的训练。MC模块的加入使得SR网络的输入端具有更加连续的时间特性，这也让表现力相比单独使用spatio-temporal网络得到了进一步提升！
                    这篇文章不再是只针对Single-Image做超分，而是主要为了提升视频的分辨率；本文由Twitter推出了一种称之为VESPCN的网络结构，主要利用运动估计模块和时序空间模块来对连续帧输入做超分。VESPCN是第二代ESPCN，解决了ESPCN无法利用视频具有高度时间冗余的特点，因此VESPCN将ESPCN升级成Spatial-Temporal-sub-pixel卷积网络，并结合运动补偿完成视频超分任务，此外VESPCN在single-Image上可以减少一定程度的资源消耗。参考目录：①深度学习端到.
				
Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network
arXiv:1609.05158v2
利用高效的亚像素卷积神经网络实现实时单图像和视频的超分
参考资料：
论文内容：https://zhuanlan.zhihu.com/p/76338220
Github/pytorch：https://github.com/JuheonYi/VESPCN-P




    

				
Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation
参考资料：
论文内容：https://blog.csdn.net/u014447845/article/details/89928794
Github/pytorch：https://github.com/JuheonYi/VESPCN-PyTorch
主要创新点
将亚像素卷积的效率优势与时间融合策略相结合，给出了视频SR的实时时
				
这篇文章推出了一种具有亚像素卷积层结构的SR算法——ESPCN；相比于SRCNN直接对HRHRHR领域像素做卷积，ESPCN是直接对输入LRLRLR像素做特征提取，在当时来说，可以算是一种提高计算效率的有效途径。
参考文档：
Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural NetworkAbstract1 Introduction2 Method2.1.
				
这篇文章基于ESPCN提出了针对视频重建任务的网络结构VESPCN。ESPCN在图像和视频重建任务上都相比先前的方法都有一定的提升，但ESPCN只能对单帧图像进行重建，并不能利用视频多帧图像的时间相关性信息。该模型由对齐网络和融合时空SR网络组成
VESPCN：Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion CompensationAbstract1 Introduction2 Method2.1 Spat.
conda install pytorch torchvision -c soumith
conda install pytorch torchvision cuda80 -c soumith # install it if you have installed cuda
 PyTorchNet
 pip install git+https://github.com/pytorch/tnt.git@master
 OpenCV
conda install opencv
火车，Val数据集
火车和val数据集是从采样的。 火车数据集具有16700个图像，而Val数据集具有425个图像。 从下载数据集（访问代码：5tzp），然后将其提取到data目录中。 终于跑了
python data_utils.
	作者的目的是引进一个spatio-temporal sub-pixel convolution networks，能够处理视频图像超分辨，并且做到实时速度。还提出了一个将动作补偿和视频超分辨联合起来的算法，并且可以端到端训练。
	与单帧模型相比，时空网络即可以减少计算，又可以维持输出质量。
2、introduction
	超分辨问题一直是信号处理领域中...
				
之前已经写了挺多的博文关于image 超分了，接下来研究一下video 超分。之前博文已经对VESPCN进行了理论的介绍（《学习笔记之——基于深度学习的图像超分辨率重构》）
之前做的超分都是基于pytorch的，这次这个项目是tensorflow的。。。。然后一开始学习超分的代码是cafe的。。。。。。
ESPCN
ESPCN（efficient sub-pixel convolutional neural network）是创业公司Magic Pony Technology的Wenzhe Shi和Jose Caballero作品。该创业团队主要来自Imperial College London，目前已被Twitter收购。
				
对于diffusion超分，它是一种图像超分辨率增强的方法，通过利用图像中的细节信息来增加图像的分辨率。Diffusion超分技术通过应用扩散过程来实现，该过程通过在图像中传播信息来恢复丢失的高频细节。具体而言，它使用图像的低频信息和一些先验知识来预测丢失的高频信息，以提高图像的细节和清晰度。
Diffusion超分主要分为两个阶段：首先是预处理阶段，它对图像进行降采样，生成低分辨率图像。然后，在还原阶段中，将低分辨率图像传递到扩散过程中，通过迭代地应用扩散算子来传播和恢复丢失的高频信息。该过程将逐渐增加图像的细节和清晰度。
值得注意的是，Diffusion超分是一种计算密集型算法，需要大量的计算资源和时间来实现。此外，它对于一些特定类型的图像效果较好，而对于其他类型的图像可能效果不佳。因此，在使用Diffusion超分之前，需要根据具体应用场景和需求来评估其适用性。
                    火锅不要再吃啦: 
                    楼主您好，您在讲到BasicVSR和BasicVSR++的对比时，Propagation部分BasicVSR++增加了skip connection来将原始特征信息直接输送到高层和上采样之后的结果相结合。但是我在看BasicVSR的源码的时候，最后有一段代码如下：
[code=python]
# upsample
            out = torch.cat([out_l[i], feat_prop], dim=1)
            out = self.lrelu(self.fusion(out))
            out = self.lrelu(self.pixel_shuffle(self.upconv1(out)))
            out = self.lrelu(self.pixel_shuffle(self.upconv2(out)))
            out = self.lrelu(self.conv_hr(out))
            out = self.conv_last(out)
            base = F.interpolate(x_i, scale_factor=4, mode='bilinear', align_corners=False)
            out += base
            out_l[i] = out
[/code]
BasicVSR最后也是将当前帧x_i做了一个插值，然后和特征图相加构成了最终的输出，这个和BasicVSR++有什么区别呢？
                论文笔记之Soft Q-learning
                    m0_61808480: 
                    先期望再累加和先累加再期望有什么区别啊，看不太懂
                Pytorch之Rot旋转
                    QingLuanWG: 
                    第三个参数是dims不是dim
3.4 Comparison to state-of-the-art
GOps指标是衡量神经网络算力的一个指标，GOps代表每秒进行10亿次运算，越低代表速度越快。
3.1.2 Network training and parameters