[发明专利]一种基于在线知识迁移的深度神经网络集成模型单张图像超分辨率方法和系统

说明书

本发明公开了一种基于在线知识迁移的深度神经网络集成模型单张图像超分辨率方法和系统，使用多个基于DNN的基学习器构建集成模型，所述集成模型包括多个基于DNN的基学习器，每个基学习器都有一个上采样模块和一个精化网络；且不同基学习器的上采样模块采用不同的上采样方法；各基学习器之间利用扩展的Cross‑stitch单元相连接，基学习器的输出通过可学习的权重合并为最终输出的HR图像。本发明能够将差异性主动引入到基学习器中，即主动增强基学习器之间的差异，保证集成模型能获得良好性能；扩展的Cross‑stitch单元可以使来自其他基学习器的有益的输入被加强，而不利的输入会被减弱；可学习的权重能够自适应地根据不同基学习器的输出进行组合，从而获得更好的效果。

技术领域

本发明涉及一种基于在线知识迁移的深度神经网络集成模型单张图像超分辨率方法和系统，尤其适用于对重构出的高分辨率图像细节有较高要求的场景。

背景技术

单张图像超分辨率(Single Image Super Resolution,SISR)是计算机视觉领域的一个经典问题，其目的在于根据给定的单张低分辨率(Low Resolution,LR)图像重构出尺寸更大、细节更丰富的高分辨率(High Resolution,HR)图像。该技术已被广泛的应用于遥感图像成像、视频安防、医疗图像成像上。人们已经提出了大量的SISR方法，具体可以分为插值法、重构法和学习法。其中插值法采用基于领域插值的方法从LR图像重构HR图像，如最邻近插值、双三次插值等，这些方法非常快速和直接，但缺乏准确性。基于重构的方法通过定义精细的显式先验信息(以分布、能量函数等形式)来约束重建HR图像的可能解空间。然而，随着上采样倍数的增加，这些方法的表现迅速下降。基于学习的方法利用成对的LR图像及对应的HR图像，学习从LR到HR图像之间的映射函数。在目前的SISR方法中，基于学习的方法，尤其是基于深度神经网络(Deep Neural Networks,DNN)的SISR模型被广泛的应用并且在性能上超越了基于插值或重构的模型。

由于SISR是一个依据有限的信息恢复大量缺失信息的过程，因此它是一个解不唯一的不适定问题，即针对同一张低分辨率图像，采用不同恢复机制的SISR方法会生成包含不同细节的高分辨率图像。利用集成模型将这些不同SISR方法所产生的高分辨率图像结合起来能够提供细节更精细的高分辨率图像。集成模型表现优秀的关键在于作为个体的基学习器需表现优异且基学习器之间有足够的差异性。本发明提出了一种针对SISR方法的端到端训练的集成模型框架，该框架创新地设计了“差异引入模块”和“在线知识迁移模块”，前者可以主动增强基学习器之间的差异性，而后者在训练的过程中提升所有基学习器的表现，从而提升集成模型的表现。

集成模型已经在SISR问题中得到了应用，并且显示出了比单个学习器更好的性能，例如ESCN和MSCN。这些方法首先随机初始化多个具有相同结构的DNN，利用训练集分别训练他们，并将这些DNN作为基学习器构建集成模型。在重构HR图像的过程中，如图1所示，该模型首先以一个上采样模块(Up，通常为双三次插值)将LR图像I^LR放大到目标尺寸，再将放大后的图像作为各个基学习器的输入得到一组输出最后以等权重的方式将这组输出组合成最终的HR图像I^HR。然而，基于DNN的集成模型具有以下问题：1)DNN，集成模型的个体——基学习器的学习是一个高度复杂的非凸优化问题，采用梯度下降法所学习出的基学习器容易陷入不好的局部极小值，从而影响整个集成模型的效果；2)即使每个基学习器都被很好的学习，DNN的强大学习能力会使得不同基学习器之间的差异性降低，而差异性是集成模型获得良好性能的保证。因此，这些问题制约了集成模型在SISR的效果上取得显著的突破。

发明内容

本发明的目的是提供一种基于DNN的新型集成模型框架用于解决SISR问题，该框架能够解决传统用于解决SISR的DNN集成模型存在的问题，即基学习器间差异性不足和基学习器训练困难，提升模型重构HR图像的效果。

本发明的技术方案如下：