[发明专利]一种基于在线知识迁移的深度神经网络集成模型单张图像超分辨率方法和系统

权利要求书

1.一种基于在线知识迁移的深度神经网络集成模型单张图像超分辨率方法，其特征在于包括如下步骤：

1)构建基于DNN的集成模型，所述集成模型包括多个基于DNN的基学习器，每个基学习器都有一个上采样模块和一个精化网络；且不同基学习器的上采样模块采用不同的上采样方法；各基学习器之间利用扩展的Cross-stitch单元相连接，通过线性组合所有基学习器位于同一隐藏层的激活图{x₁…x_N}得到这些基学习器下一隐藏层的输入所述基学习器的输出通过可学习的权重合并为最终输出的HR图像；

2)利用包含LR图像和其对应的HR图像作为标签的训练集对集成模型进行训练，通过训练得到能对低分辨率图像进行超分辨到高分辨率图像的集成模型；

3)利用训练好的集成模型对测试数据集中的低分辨率图像进行超分辨处理。

2.如权利要求1所述的基于在线知识迁移的深度神经网络集成模型单张图像超分辨率方法，其特征在于，对于给定输入LR图像I^LR，每个基学习器的上采样模块分别采用不同的上采样方法得到相互具有差异性的目标尺寸粗输入图像I′^LR，作为其精化网络的输入。

3.如权利要求1所述的基于在线知识迁移的深度神经网络集成模型单张图像超分辨率方法，其特征在于，所述精化网络由特征抽取网、多个残差块、重构网和一个从粗输入到输出的跳层连接组成；特征抽取网使用了一个卷积层从粗输入中提取特征；每个残差块都包括一个具有Leaky ReLU激活函数的卷积层和一个没有激活函数的卷积层；最后，重构网使用两个卷积层来重构残差图像。

4.如权利要求1所述的基于在线知识迁移的深度神经网络集成模型单张图像超分辨率方法，其特征在于，扩展的Cross-stitch单元通过线性组合所有DNN位于同一隐藏层的激活图{x₁…x_N}得到这些DNN下一隐藏层的输入如公式(1)所示；

通过反向传播算法学习矩阵A，扩展的Cross-stitch单元能够自适应地决定每个基学习器某个隐藏层的输出在多大程度上传递给其他基学习器。

5.如权利要求1所述的基于在线知识迁移的深度神经网络集成模型单张图像超分辨率方法，其特征在于，对于输入的LR图像I^LR，所有基学习器的输出通过线性加权的方式组合在一起，如公式(2)所示，权重w能够在训练中利用反向传播算法更新；

6.如权利要求1所述的基于在线知识迁移的深度神经网络集成模型单张图像超分辨率方法，其特征在于，所述的上采样模块采用预训练模型，预训练模型不参与集成模型训练。

7.一种用于单张图像超分辨率处理的基于在线知识迁移的深度神经网络集成系统，其特征在于包括：

多个基于DNN的基学习器；每个基学习器都有一个上采样模块和一个精化网络；且不同基学习器的上采样模块采用不同的上采样方法对输入LR图像进行上采样；所述精化网络由特征抽取网、多个残差块、重构网和一个从粗输入到输出的跳层连接组成，其中特征抽取网使用了一个卷积层来从粗输入中提取特征；每个残差块都包括一个具有Leaky ReLU激活函数的卷积层和一个没有激活函数的卷积层；重构网使用两个卷积层来重构残差图像；

扩展的Cross-stitch单元；其通过线性组合所有基学习器位于同一层的激活图{x₁…x_N}得到这些基学习器下一层的输入

可学习的基学习器输出合并单元；其将各基学习器的输出通过可学习的权重合并为最终输出的HR图像。