[发明专利]一种图像超分辨率的方法及系统

权利要求书

1.一种图像超分辨率的方法，其特征在于，所述图像超分辨率的方法包括：结合图像非局部自相似性，利用3D卷积神经网络3DCNN处理图像SR，提出基于3DCNN的非局部超分辨率方法；直接利用3DCNN建模非局部相似性，提取自然图像的非局部相似信息；构造基于8层全卷积网络的3DCNN基础模型；进行3DCNN中的3D卷积神经网络的设计，提出基于RNN的改进模型。

2.如权利要求1所述的图像超分辨率的方法，其特征在于，所述3D卷积神经网络包括三个部分，分别是：

1)单层3D卷积层和ReLU组合，用以将输入图像块集转化到特征空间；

2)一个特征子网络，用以提取局部和非局部信息；

3)单层3D卷积层，用以输出残差图像块集；设计的3D网络输出为残差图像块集与输入图像块集之间的和。

3.如权利要求1所述的图像超分辨率的方法，其特征在于，所述图像超分辨率的方法包括以下步骤：

步骤一，对比传统超分辨率模型，设计基于8层全卷积网络的3DCNN基础模型，模型的第三维信息用非局部相似性质；

步骤二，根据混合残差单元和残差网络，提取图像的非局部特性；

步骤三，将部分数据集经过PCA处理降维，同时在去除噪声和冗余信息的同时保留图像的原始信息，为块匹配进行预处理；

步骤四，采用传统块匹配方法从LR图像数据集中提取非局部相似图像块，并对图像块堆叠形成三维图像块集作为表征所述非局部图像块；

步骤五，从3DCNN中输出得到训练后的图像块集，输出重建后的SR图像。

4.如权利要求3所述的图像超分辨率的方法，其特征在于，步骤一中，所述对比传统超分辨率模型，设计基于8层全卷积网络的3DCNN基础模型，模型的第三维信息用非局部相似性质，包括：

三维图像块集的前两维保存着图像2D局部信息，而第三维保存着非局部信息；对这样的三维数据，采用能力更强的3d卷积将会更有效得到SR图像；

2D卷积提取上一层特征图的局部邻域中的特征，与2D卷积不同之处在于，输入图像多了一个深度维度，卷积核也多了一个K_d维度，因此3D卷积核的尺寸为(K_h,K_w,K_d)；每次滑窗与窗口内的值进行相关操作，得到输出3D图像中的一个值；其中卷积核深度大小小于输入层深度，核大小通道大小；3D卷积核可以在所有三个方向，即图像的高度、宽度和通道上移动，在每个位置，逐元素的乘法和加法都会得到一个数值，对于这样的三维数据处理，增强获取数据信息的能力；其中2D卷积由公式可以表示为：

其中，可以表示当前l的第j个特征位置是(x,y)的值，其中i表示上一层特征图集合的位置坐标，表示为连接是第i个特征图时在核是(p,q)位置的值，P_l和Q_l为卷积核的尺寸；3D卷积被定义为：

其中，表示当前l层第j个3D位置为(x,y,z)时的值，R_l表示3D卷积的第三维尺度信息；

对于三维图像块集，3D卷积是指在一个小的三维感受野范围中，计算的目标像素值是局部和非局部像素点的联合加权平均值；随着卷积层的堆叠，随着感受野的扩大最终将覆盖到整个图像块集的局部和非局部信息，从而达到特征提取的效果；

在网络设计上通过一个全卷积3D网络，利用3D卷积层捕获图像块集的局部和非局部信息；整个网络由一系列非线性单元和3D卷积层组成，通过卷积核来提取特征，利用残差学习策略被采用去缓解梯度消失或爆炸问题并且可以堆叠使用更多的网络层或者使每层提取更多的特征，即网络的输入和输出跳跃连接；经过卷积操作后数据尺寸缩小，通过在训练过程中对每层卷积层通过补零操作来保证网络输入输出的尺寸一致；而对于激活函数，提出方法则选用ReLU，则第l层的3D卷积和非线性操作可以被定义为：

H_l(H_l-1)＝max(0,W_l*H_l-1+b_l)；

其中，H_l-1表示上一层的输出，即当前层的输入；定义W_l*H_l-1为当前层的3D卷积操作；设计的3DCNN目的是学习LR图像块集Y与HR图像块集X之间的映射F(Y)，使其尽可能接近X；3DCNN以LR图像块集作为输入，即H₀＝Y，则网络的第一层输出可表示成：

H₁＝H₁(Y)＝max(0,W₁*Y+b₁)；

设定网络深度为D，即有D层卷积层；在3DCNN的基础模型中，总共包含8层卷积层，即D＝8；则整个网络的输出F(Y)可计算为：

F(Y)＝H₈(H₇(......H₁(Y)))+Y。