[发明专利]单幅图像多尺度超分辨重建网络结构及方法

权利要求书

1.一种单幅图像多尺度超分辨重建网络结构，其特征在于，包括：

特征提取层，输入为原始图像，输出连接空洞卷积神经网络输入层；

级联扩张层，输入与空洞卷积神经网络输出层连接；

聚合层，用于融合所述特征提取层提取的不同尺度的低层编码信息以及级联扩张层获取的解码信息；

重建模块，输入为所述级联扩张层的输出，输出为重建后的图像。

2.根据权利要求1所述的单幅图像多尺度超分辨重建网络结构，其特征在于，所述特征提取层包括：

卷积模块，用于提取原始图像的浅层特征；

M个残差组件，与所述卷积模块连接，用于提取深层特征；其中，M≥1。

3.根据权利要求2所述的单幅图像多尺度超分辨重建网络结构，其特征在于，所述级联扩张层包括M个级联的解码器；第一个解码器与所述空洞卷积神经网络输出层连接，第M个解码器与所述重建模块连接。

4.根据权利要求3所述的单幅图像多尺度超分辨重建网络结构，其特征在于，所述卷积模块的输入与第M-1个解码器的输出叠加，作为第M个解码器的输入。

5.根据权利要求4所述的单幅图像多尺度超分辨重建网络结构，其特征在于，所述聚合层包括N个聚合模块；其中1≤N≤M；

当N＝1时，所述M个残差组件均与该聚合模块连接，该聚合模块的输出与所述空洞卷积神经网络的输出叠加，或者与第i个所述解码器的输出叠加，1≤i＜M；

当N＝M时，每个聚合模块对应与一个所述残差组件连接，各聚合模块的输出分别对应与所述空洞卷积神经网络的输出、第1个所述解码器的输出、……、第M-1个所述解码器的输出叠加；

当1＜N＜M时，每个聚合模块对应与至少一个残差组件连接，各聚合模块的输出对应与所述空洞卷积神经网络的输出、第1～第j个所述解码器的输出叠加；其中，j≤N。

6.根据权利要求5所述的单幅图像多尺度超分辨重建网络结构，其特征在于，M＝4；N＝3；第1个聚合模块与4个所述残差组件连接，第2个聚合模块与第2～第4个残差组件连接，第3个聚合模块与第3个和第4个残差组件连接；第3个聚合模块的输出与所述空洞卷积神经网络的输出叠加，作为第1个解码器的输入；第2个聚合模块的输出所述第1个解码器的输出叠加，作为第2个解码器的输入；第1个聚合模块的输出与所述第2个解码器的输出叠加，作为第3个解码器的输入。

7.根据权利要求5所述的单幅图像多尺度超分辨重建网络结构，其特征在于，所述聚合模块包括L个第一上采样层，所述L个第一上采样层的输出均与由多个不同倍数上采样层级联而成的聚合单元的输入层连接；其中，L为聚合模块所接的残差组件的个数。

8.根据权利要求1～7之一所述的单幅图像多尺度超分辨重建网络结构，其特征在于，所述空洞卷积神经网络包括多个并联的级联支路，所述多个并联的级联支路的输入为特征提取层的输出，所述多个并联的级联支路的输出与融合模块连接；所述级联支路包括一个或多个串联的卷积层。

9.根据权利要求8所述的单幅图像多尺度超分辨重建网络结构，其特征在于，所述级联支路数量为5；5个级联支路上的串联的卷积层个数分别为1、2、0、3、4。

10.一种单幅图像多尺度超分辨重建方法，其特征在于，包括以下步骤：

S1、从图像数据集中获取多张图像作为样本集，将所述样本集随机划分为训练集和验证集；

S2、采用所述训练集训练超分辨重建网络，采用所述验证集调整超分辨重建网络结构和超参数，得到重建模型；

其中，所述超分辨重建网络为权利要求1～9之一所述的网络结构；

优选地，

步骤S1之后，步骤S2之前，还包括：对所述训练集的图片进行增强处理。