[发明专利]引入尺度信息的任意倍视频超分辨率方法

权利要求书

1.一种引入尺度信息的任意倍视频超分辨率方法，其特征是，首先使用可变卷积在特征级别将相邻帧对齐；随之融合模块计算对齐后的相邻帧和目标帧之间的相似度，对相似的部分关注度更高，以此种方式融合帧间时序信息，使用非局部融合帧内空间信息；然后使用类注意力机制的方式融合逆向位置投影矩阵中每个元素向量所提取出的特征，并融入到残差学习过程中通过对不同尺度因子进行显式建模，帮助网络自适应调整特征学习过程；最后将代表着连续的相邻帧和目标帧之间像素点移动的偏移量输入位置权重预测模块得到位置权重，将对齐模块输出的对齐特征输入特征权重预测模块得到特征权重。最后将两个权重对应相乘，即可得到上采样滤波核权重，将融合特征分别乘以上采样滤波核权重，实现任意倍的放大。

2.如权利要求1所述的引入尺度信息的任意倍视频超分辨率方法，其特征是，具体步骤如下：由对齐、融合、重建、上采样构成超分辨率网络，在重建和上采样环节引入尺度因子信息，所述超分网络按照如下步骤实现：

S1，所述网络对齐采用可变卷积在特征级别参照目标帧，将所有的相邻帧对齐，获得对齐的目标帧特征；

S2，所述融合是将对齐的相邻帧与目标帧作为输入，从时间和空间两个维度融合信息，通过注意力机制在时间维度上融合帧间信息，通过非局部融合在空间维度上融合帧内信息；

S3，重建环节使用逆向位置投影矩阵表征尺度因子相关的信息，使不同尺度因子下学习到的特征信息不同；

S4，上采样：首先预测低分输入和高分输出之间的位置权重以及不同目标帧的特征权重，将两类权重结合得到上采样滤波器权重，将融合后的特征与权重相乘逐像素得到最终的超分结果。

3.如权利要求1所述的引入尺度信息的任意倍视频超分辨率方法，其特征是，所述引入尺度因子信息的重建模块通过如下步骤实现：

2.1将融合后的目标帧特征和尺度因子信息表征的逆向位置投影矩阵输入到尺度感知位置特征提取模块，得到逆向位置投影矩阵融合特征；

2.2将融合后的目标帧输入到常规的残差块，残差块由两个卷积层和两个激活层组成，得到残差融合特征；

2.3将逆向位置投影矩阵融合特征与残差融合特征拼合并与图像特征相加得到引入尺度信息的特征的公式如下：

公式(1)中，代表融合尺度信息的特征，C()代表卷积操作，con()代表拼合操作，R()代表激活函数，E(IP)代表逆向位置投影矩阵，代表输入的融合特征。

4.如权利要求1所述的引入尺度信息的任意倍视频超分辨率方法，其特征是，所述上采样滤波器的权重由位置权重和特征权重两部分组成：

3.1位置权重通过输入多帧低分辨率输入与高分辨率输出之间对应的位置关系、尺度因子预测得到；

3.2特征权重将对齐模块输出的对齐特征作为输入，预测不同目标帧的特征权重；

3.3最后将这两个权重相乘，得到上采样滤波器权重。

5.如权利要求1所述的引入尺度信息的任意倍视频超分辨率方法，其特征是，详细步骤如下：

由对齐、融合、重建、上采样四个阶段组成的超分网络，所述超分网络按如下步骤实现任意倍视频超分辨率：

S1首先提取相邻帧和目标帧的特征，对齐阶段通过可变卷积参照目标帧在特征级别将相邻帧对齐，将相邻帧和目标帧输入到网络中，提取特征使用的是残差块；然后将相邻帧和目标帧的特征拼合，经过卷积得到相邻帧和目标帧之间的偏移量，将该偏移量与相邻帧输入到可变卷积中，得到对齐的相邻帧特征；

S2将对齐模块输出的对齐的相邻帧与目标帧输入，在融合阶段中，计算每一个相邻帧和目标帧之间的相似度，融合相似度更高的信息到目标帧，再对目标帧使用非局部方法融合空间信息；

S3将融合了时空信息的特征输入，引入尺度因子并提取更深层次信息，重建模块由尺度感知残差块堆叠得到，尺度感知残差块堆叠具体的工作流程如下：

1)构建逆向位置投影矩阵，对于高分帧上每一像素点，将该像素点的坐标除以尺度因子得到对应的低分辨帧上的某一像素点，那么对于低分辨率帧上每一点将多个高分辨率恢复帧上的多点组成矩阵逆向位置投影矩阵，低分帧上的某点(i′,j′)的投影矩阵如下式构建：

F^l(i′,j′)＝{I^s(i,j)|i′r≤i≤(i′+1)r；j′r≤i≤(j′+1)r},(2)

F^l(i′,j′)表示低分特征帧上一点，等式右边表示点(i′,j′)决定的高分帧上的点的集合；

2)将融合模块输出的融合特征与逆向位置投影矩阵作为输入，得到逆向位置投影矩阵融合特征，具体的步骤如下：

第一步，对逆向位置投影矩阵中位置(i′,j′)处的元素像素进行重塑，组成维度为(n,3)的位置偏移量矩阵，其中n表示当前元素位置包含的高分辨率像素位置个数；

第二步，对每个位置偏移量与尺度因子的拼合向量进行特征提取，得到位置偏移量特征；

第三步，将当前位置的输入特征与位置偏移量特征拼合，并利用全连接层与逻辑回归激活层预测融合权重；

第四步，使用融合权重将所有的位置偏移量特征加权，得到逆向位置投影矩阵融合特征；

3)将融合特征输入到两个卷积和两个激活函数组成的残差块中获得新的融合特征并与步骤2)的特征拼合，最后再与融合特征相加就获得了融入尺度信息的特征；

S4上采样阶段首先预测上采样滤波器的权重，经过S3得到的特征逐像素地与滤波器相乘得到高分辨率恢复帧，获得上采样滤波器权重的步骤如下：

1)O2P模块输入由对齐模块得到的相邻帧和目标帧之间的偏移量预测多帧低分辨率输入和高分辨率图像结果之间的对应关系，学习预测高分图逐像素的位置关系，将该关系作为位置权重预测P2W模块的输入，得到位置权重；

2)偏移量与对齐特征中所包含的信息并不相同，偏移量对应着两帧图像像素点之间的对应关系，更多的图像信息包含在对齐特征中，特征权重依然采用P2W模块的结构，将对齐模块输出的对齐特征作为输入；

3)将位置权重与特征权重逐像素相乘得到最终的上采样滤波器权重。