[发明专利]图像超分辨率重建方法、装置、终端设备及存储介质

权利要求书

1.一种图像超分辨率重建方法，其特征在于，包括：

获取第一分辨率的待处理图像；

对所述待处理图像进行图像特征提取，得到初始特征图；其中，所述初始特征图中包含所述待处理图像的高频图像信息和低频图像信息；

采用残差网络对所述初始特征图进行分级重建学习；其中，所述残差网络具有N个级联的块残差模块；在第i个块残差模块中对输入特征图进行重建学习，包括：将输入特征图输入第i个块残差模块；当i＝1时，所述输入特征图为所述初始特征图，当1＜i≤N时，所述输入特征图为第i-1个块残差模块所输出的第二频率特征图；在每一级块残差模块中，对所述输入特征图进行放大操作，得到放大特征图；对所述放大特征图进行预处理操作，得到预处理特征图；将所述预处理特征图分别输入第一分支和第二分支；在所述第一分支中对所述预处理特征图进行卷积处理，得到第一频率特征图；在所述第二分支，根据所述预处理特征图和初始特征图提取高频图像信息，得到所述第二频率特征图；其中，所述第二频率大于所述第一频率；所述预处理操作用于使所述放大特征图的画面细节得到恢复并且使输出的所述预处理特征图中部分高频图像信息丢失；

当满足预设条件时，获取所述残差网络输出的融合特征图；其中，所述融合特征图由N个所述块残差模块分别输出的第一频率特征图融合得到；

对所述融合特征图进行重建得到待处理图像的超分辨率图像；

在所述第二分支，根据所述预处理特征图和初始特征图提取出高频图像信息，得到第二频率特征图，包括：

将所述预处理特征图进行下采样，得到下采样特征图；

将所述输入特征图与所述下采样特征图进行做差提取出所述输入特征图的高频特征信息，得到高频特征图；

对所述高频特征图进行重建学习；

将重建学习后的高频特征图与重建学习前的所述高频特征图进行融合得到所述第二频率特征图；

所述对所述高频特征图进行重建学习，包括：

通过信息蒸馏网络对所述高频特征图进行重建学习，具体的，通过3-5个卷积运算，将每个卷积运算后的高频特征图输入特征图融合器，同时将每个卷积运算后的高频特征图输入相邻的下一个卷积核进行卷积运算；

所述对所述初始特征图进行放大操作，包括：

通过反卷积核运算、插值算法或者亚像素卷积算法对所述初始特征图进行放大操作。

2.如权利要求1所述的图像超分辨率重建方法，其特征在于，所述当满足预设条件时，获取所述残差网络输出的融合特征图，包括：

将N的值设置为预设值，当i＝N时，获取所述残差网络输出的融合特征图；

或者，将各个块残差模块输出的所述第一频率特征图进行融合，得到临时融合特征图；当所述临时融合特征图与原始图像之间的差异度小于预设阈值时，则获取所述残差网络输出的融合特征图。

3.如权利要求1所述的图像超分辨率重建方法，其特征在于，在所述第一分支中对所述预处理特征图进行卷积处理，得到第一频率特征图，包括：

对所述预处理特征图进行特征提取，得到低频特征图；

当所述块残差模块不为所述残差网络的最后一个块残差模块时，将第i个块残差模块的所述第一频率特征图与第i+1个块残差模块的第一频率特征图进行融合，得到当前第i个块残差模块的第一频率特征图；

当所述块残差模块为所述残差网络的最后一个块残差模块时，将所述最后一个块残差模块的所述第一频率特征图进行输出。

4.如权利要求1-3任一项所述的图像超分辨率重建方法，其特征在于，获取第一分辨率的待处理图像，还包括：

获取具有第二分辨率的原始图像，对所述原始图像进行下采样，得到所述第一分辨率的待处理图像。