图像超分辨的几种方法

当前看了几种图像超分辨的方法，本篇博客主要介绍 最近邻插值算法、双线性插值算法、双三次插值算法(bicubic interpolation)、SRCNN、TNRD、ESPCN 几种方法。
为了方便归纳，这里借鉴一下其他几个博主的相关总结。。

1.最近邻插值算法、双线性插值算法、双三次插值算法(bicubic interpolation) 请参阅博客 https://blog.csdn.net/nandina179/article/details/85330552

2.SRCNN 方法 请参阅博客 https://blog.csdn.net/Autism_/article/details/79401798

（SRCNN就是对利用双三次插值算法降采样并恢复的图像进行 Conv（9 * 9）+relu——conv（1 * 1）+relu——conv（5*5）的操作，该过程实际上并没有改变输入和输出图像的大小，个人理解就是在双三次插值的后面加了一个三层的网络）

3.TNRD 该方法是以扩散方程（P-M方程）为基础的一种应用于Gaussian image denoising, single image super resolution， JPEG deblocking 的方法。
下面说一下个人的理解。
对于P-M扩散方程：

主要用于对实现图像的平滑，其具体的来源可以参见博客 https://www.cnblogs.com/voidobject/p/3975545.html 。
而对于离散的P-M模型可以表示为：

在TNRD方法中，作者引入了 reaction term 来处理不同的图像处理问题：

在此基础上，得到了TNRD的扩散模型（diffusion model ）：

该模型可以表示为前馈网络形式：

However, we can introduce a feedback step to explicitly illustrate the special architecture of our diffusion network that we subtract “something” from the input image. Therefore, our diffusion model can be represented in a more compact way in Figure 2, where one can see that the structure of our CN model is different from conventional feed-forward networks. Due to this feedback step, it can be categorized into recurrent networks .

在SISR中，We start with the following energy functional：

以上就是将TNRD应用到SISR中的介绍。也就是说，TNRD以双三次插值为基础，对于每一层网络的双三次插值得到的SR图像进行散度计算求出扩散量（这个词可能不准确），然后在该层网络的SR图像ut-1中减去该扩散量得到下一次网络的输入ut。特别地，u0直接由LR图像f得到。

4.ESPCN ——Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network
可以参阅博客
https://blog.csdn.net/weinidakaishijian/article/details/75577010
以及 https://www.jianshu.com/p/c24c3394cfe3

（ESPCN是一个三层的网络，前两层是卷积层，最后一层是reshape，将第二个卷积层得到的 H * W * Cr2 的图像reshape为 rH * rW * C 的图像，因此最后一层并没有进行非线性变换。）

论文：https://arxiv.org/pdf/1609.05158.pdf
代码：https://github.com/leftthomas/ESPCN

问题： ESPCN中使用的激活函数是tanh，并且证明了其比ReLU函数效果要好，why？