[发明专利]基于神经网络的高分辨率图像复原方法及系统

权利要求书

1.一种基于神经网络的高分辨率图像复原方法，其特征在于，包括如下步骤：

步骤S1：对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，将第一特征和第二特征进行级联，得到浅层特征；

步骤S2：采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征；

步骤S3：对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；

步骤S4：对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原。

2.根据权利要求1所述的基于神经网络的高分辨率图像复原方法，其特征在于：对网络输入中的目标帧进行特征提取时，采用1-2层卷积层对目标帧进行特征提取，得到第一特征；对第一帧及其相邻帧光流进行特征提取时，采用1-2层卷积层对低分辨率图像序列及其稠密光流中的第一帧、第一帧与第二帧的稠密光流、第二帧进行特征提取。

3.根据权利要求1所述的基于神经网络的高分辨率图像复原方法，其特征在于：所述采用迭代式上下采样的方法对浅层特征进行特征提取和细化的判断方法为：判断浅层特征是否有相邻帧未计算，若是，则将得到的一个输出第一特征与下一帧及其相邻帧光流的特征进行特征级联，作为下一次迭代的输入，不断循环迭代，直到所有的输入帧都经过计算为止，若否，进入步骤S3。

4.根据权利要求1或3所述的基于神经网络的高分辨率图像复原方法，其特征在于：迭代式上下采样时，单次上下迭代的过程包含：第一卷积层、第一反卷积层、第二卷积层、第二反卷积层、第三卷积层、第三反卷积层。

5.根据权利要求4所述的基于神经网络的高分辨率图像复原方法，其特征在于：所述第一卷积层和第一反卷积层采用相同的卷积核、步长、以及通道数；第二卷积层和第二反卷积层采用相同的卷积核、步长、以及通道数；第三卷积层和第三反卷积层采用相同的卷积核、步长、以及通道数。

6.根据权利要求4所述的基于神经网络的高分辨率图像复原方法，其特征在于：所述第一卷积层的输入为浅层特征，第一反卷积层的输入为第一卷积层的结果，第二卷积层的输入为第一反卷积层的结果与浅层特征的差，第二反卷积层的输入为第二卷积层的结果，第三卷积层的输入为第二反卷积层的结果，第三反卷积层的输入为第三卷积层的结果与第二反卷积层的结果的差。

7.根据权利要求1或3所述的基于神经网络的高分辨率图像复原方法，其特征在于：迭代式上下采样的数量根据对网络大小的需求调整。

8.根据权利要求3所述的基于神经网络的高分辨率图像复原方法，其特征在于：所述采用迭代式上下采样的时，保存每次迭代得到的输出第二特征。

9.根据权利要求1所述的基于神经网络的高分辨率图像复原方法，其特征在于：利用最终特征对图像进行复原时，采用1-2层反卷积层。

10.一种基于神经网络的高分辨率图像复原系统，其特征在于，包括：

特征提取模块，用于对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，将第一特征和第二特征进行级联，得到浅层特征；

编解码模块，用于采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征；

解码模块，用于对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；

权重分配模块及复原模块，用于对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原。