[发明专利]一种基于跨模态特征融合的空间可变模糊估计方法

说明书

本发明涉及图像超分辨率技术领域，具体涉及一种基于跨模态特征融合的空间可变模糊估计方法；该方法针对空间可变模糊的特点，提出结合语义信息进行跨模态的特征交互和监督，并基于PyTorch深度学习框架，设计了一种层级式的特征交互网络；通过本发明的方法，可以实现真实图像中空间可变的模糊估计，有助于图像超分辨率技术从模糊的低分辨率图像中恢复更清晰的高分辨率结果，并且，虽然涉及语义信息的引入，但该信息仅在网络的训练阶段中使用，在测试阶段并不需要相应的额外输入，保证了我们方法的通用性和便捷性。

技术领域

本发明涉及图像超分辨率技术领域，具体涉及一种基于跨模态特征融合的空间可变模糊估计方法。

背景技术

图像超分辨率技术旨在根据低分辨率图像恢复其对应的高分辨率图像，且低分辨率图像通常是模糊的。模糊估计技术可以对低分辨率图像中的模糊退化进行估计，得到相应的模糊核，这有助于在图像超分辨率的过程中恢复对应清晰的高分辨率图像，在很多场景下都有极大的应用潜力，比如自然图像超分辨率、光学显微超分辨率、人脸图像超分辨率、超光谱图像超分辨率和视频超分辨率等。

随着深度学习的发展及计算机算力的提升，许多基于深度学习的模糊估计方法都取得了不错的效果，但已有的方法一般只能为每张图像估计唯一的模糊核，不能适用于包含失焦等空间可变模糊的情形，极大地限制了该类方法的应用潜力。

针对这一问题，亟待一种更适合真实图像的空间可变的模糊估计方法。该方法能够对图像中的每个像素进行精细的不同的模糊估计，因此能够同时应对模糊空间不变和空间可变的情况。此外，该方法估计得到的更真实的模糊，有助于图像超分辨率过程从低分辨率的模糊图像中恢复更清晰的高分辨率结果，并进一步推进图像超分辨率技术的落地应用。

发明内容

为解决目前的模糊估计技术不能很好地进行空间可变的模糊估计的问题，提供了一种基于跨模态特征融合的空间可变模糊估计方法。考虑到在真实图像中模糊变化的分界线通常与语义边缘对齐，因此可以利用锋利的语义边缘信息对模糊估计进行监督。基于此，该方法利用深度学习技术，构建了一个基于跨模态特征融合的网络模型，以低分辨率的模糊图像作为输入，以模糊量估计图和语义分割概率图作为输出，即同时对输入图像进行模糊估计和语义分割。通过这种方式，我们引入了语义信息，以期该信息能够辅助模糊估计。不仅如此，事实上估计得到的语义分割概率图与模糊量相同，在图像超分辨率的过程中都可以作为先验信息起到辅助作用。特别地，由于该模型仅在训练时需要语义信息作为监督，因此在应用时并未增加所需条件，保证了该方法的有效性和通用性。

为了达到上述发明目的，本发明采用的技术方案具体如下：

一种基于跨模态特征融合的空间可变模糊估计方法，该方法包括：

低分辨率的模糊图像输入层级式的跨模态特征交互网络模型；

在层级式特征交互模型中，通过一个全卷积骨干网络提取输入图像的多尺度特征；

除第一个尺度外，其余尺度的特征均通过GIA模块与上一个尺度的特征进行融合；

对于每个尺度的特征均使用相应的任务头模块分别预测模糊和语义特征；

除最后一个尺度外，每个尺度的模糊和语义特征均通过GIA模块进行交互和融合；

最后一个尺度的模糊和语义特征，分别直接通过一层卷积获得模糊量图和语义分割概率图，用于进行整体网络的辅助监督；

各尺度由相应任务头模块提取的模糊和语义特征还通过额外的GIA模块进行交互并各自聚合；聚合后的两种模态的特征各自通过一个卷积层和一个上采样层，分别得到最终的模糊估计和语义分割结果。

进一步优选的，该方法包括：