[发明专利]基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法

权利要求书

1.基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法，其特征在于，包括如下步骤：

(1)对于连续多帧图像，标定第1帧为参考帧，每次递归取参考帧和1帧相邻帧，通过多次递归遍历所有图像帧；

(2)构建深度神经网络，包括特征提取模块、非局部注意力模块、多尺度对齐模块、递归上采样模块和重建模块；

(3)训练深度神经网络，基于L1损失函数，使用公开的高分辨率数据集，将高分辨率数据集进行双三次不同尺度的降采样，得到对应的低分辨率数据集，通过Pytorch深度学习框架，得到训练好的针对不同尺度的超分辨率模型；

(4)利用训练好的模型进行连续多帧图像超分辨率，将低分辨率图像帧送入训练好的模型，得到最终的超分辨率重建结果。

2.如权利要求1所述的基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法，其特征在于，步骤(1)中，通过多次递归遍历所有图像帧具体为：从数据集中读取同场景下的连续多帧图像，规定第1帧为参考帧，每次递归输入2帧，包括1帧参考帧，1帧相邻帧，相邻帧由近及远，保证每个帧只需要处理1次。

3.如权利要求1所述的基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法，其特征在于，步骤(2)中，构建深度神经网络具体包括如下步骤：

(21)每次递归对网络输入2帧低分辨率图像，用特征提取模块来提取初始特征；

(22)将步骤(21)提取的特征输入非局部注意力模块来捕捉帧与帧之间的时空长距离依赖关系；输出一个与输入维度相同的特征，输出特征具有轻度运动补偿效果；

(23)将步骤(22)输出的特征输入多尺度对齐模块，该模块通过多尺度结构在不同尺度上进行特征对齐，提升特征对齐能力，进而提高对齐操作的感受野，该模块输出一个深度对齐之后的特征；

(24)将步骤(23)得到的对齐特征与前次递归得到的高分辨率特征一起输入递归上采样模块中，得到本次递归的高分辨率特征；

(25)将步骤(24)最后一次递归得到的高分辨率特征输入重建模块，通过一个卷积层，进行特征通道压缩，得到最终的一帧高分辨率图像。

4.如权利要求3所述的基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法，其特征在于，步骤(23)中，将步骤(22)输出的特征输入多尺度对齐模块，该模块通过多尺度结构在不同尺度上进行特征对齐，输出一个深度对齐之后的特征具体包括如下步骤：

(a)将输入特征进行×2，×4的下采样，得到不同尺度的特征；

(b)分别对步骤(a)得到的特征在每个空间位置学习一组局部自适应滤波器，按照常规卷积采样规则对特征进行采样，再对每个位置的局部采样与学习到的滤波器按照卷积的方式计算得到输出的特征，这样做可以做到特征域上特征对齐；

(c)将步骤(b)在×4尺度下得到的对齐特征进行×2倍上采样恢复，并与×2尺度下得到的对齐特征进行通道累加，再进行×2倍上采样，得到与输入特征相同维度的特征，与输入特征再在通道上累加一次后，得到该模块下的最终对齐特征。

5.如权利要求3所述的基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法，其特征在于，步骤(24)中，将步骤(23)得到的对齐特征与前次递归得到的高分辨率特征一起输入递归上采样模块中，得到本次递归的高分辨率特征具体包括如下步骤：

(a)将本次递归得到的特征来对特征学习一组上采样滤波器，上采样滤波器加入了一个类似于PixelShuffle上采样的过程，在深度上进行倍数压缩，在宽度和高度上进行倍数放大；

(b)将前次递归得到的高分辨率特征的每个位置进行局部采样，再与步骤(a)学习到的滤波器进行卷积，得到本次递归的高分辨率特征；

(c)递归多次，获得最后一次递归所得的高分辨率特征。