[发明专利]基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法

说明书

本发明公开了基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，包括近红外(NIR)图像超分辨率分析网络，使用三原色(RGB)图像作为边信息，我们使用EPFL三原色(RGB)‑近红外(NIR)数据集，并将我们的模型应用于低分辨率近红外(NIR)图像的超分辨率分析，以高分辨率三原色(RGB)图像作为辅助信息，数据集包含477对空间对齐的近红外(NIR)/三原色(RGB)图像对，我们的训练集包含从50张图像中提取的大约30,000张裁剪后的图像对，每个训练图像的尺寸为44×44像素，这个尺寸是根据内存需求和计算复杂度选择的，我们还创建了一个包含25个图像对的测试集；对整个图像进行测试。

技术领域

本发明涉及图像处理技术领域，具体为基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法。

背景技术

图像超分辨率分析是成像算法中常见的逆问题，是指用低分辨率观测图像重建高分辨率图像，因为从低分辨率到高分辨率图像的映射不是唯一的，超分辨率分析问题是不适定的。逆问题的深度学习的最新研究主要考虑深度展开，深度展开是指将迭代算法展开为深度神经网络形式。这些方法主要有三类，第一类单模态图像超分辨率分析方法使用基于插值的方法。这些方法既简单又快速，但是，混叠和模糊效果使它们无法获得高质量的高分辨率图像。第二类单模态图像超分辨率分析方法使用重建方法，该方法使用多个图像先验信息来规则化不适定的重建问题，并产生具有精细纹理细节的图像。然而，用图像先验信息很难对自然图像的复杂细节建模。第三类单模态图像超分辨率分析方法使用基于学习的方法，这些方法使用机器学习技术从数据中学习低分辨率和高分辨率图像之间的复杂映射，深度学习模型具有出色的恢复质量，因此备受关注。新进提出的方法主要有B.Ham等在2018年提出的static/dynamic filter(SDF) 方法[1]，H.Sreter等在2018年提出的approximate convolutional sparse code(ACSC)方法[2]，Y.Li等在2019年提出的imagesuper-resolution feedback network(SRFBN)方法[3]，目前这些新方法集中在单模态数据上，缺乏从不同成像模态吸收的边信息的利用。X.Deng等在2020年最新提出的deepcoupled iterative shrinkage and thresholding algorithm(COISTA)方法[4]，是最新提出的多模态图像超分辨率方法，采用了联合多模式字典学习(JMDL) 算法，采用跨模式依赖性建模方法，性能上不如本方法提出的学习卷积稀疏编码网络建模方法，为此我们提出基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法用于解决上述问题。

发明内容

本发明的目的在于利用低分辨率的观测图像来重构高分辨率图像是不适定的成像逆问题，医学成像和遥感的实际应用通常涉及捕获同一场景的不同图像模态，例如近红外(NIR)图像和三原色(RGB)图像，因此可以考虑多种图像模态的联合使用以完成成像，即使用来自另一个模态的引导图像(也称为边信息)作为辅助从低分辨率观测图像重建高分辨率图像。深度学习方法依赖于训练数据来学习从低分辨率输入到高分辨率输出的端到端映射。本设计提出一种新颖的深度展开算子，其执行的步骤类似于包含边信息的卷积稀疏编码的迭代算法，将近端算法转换为人工学习的多模态卷积稀疏编码的神经网络形式；该网络结合了稀疏先验信息，并能够将引导模式有效地集成到解决方案中。以深度展开架构作为图像超分辨率分析的多模态框架的核心组件，通过采用残差学习来提高训练效率。本方法提出的多模态方法适用于近红外和多光谱图像的超分辨率分析以及使用三原色(RGB)图像作为边信息的深度上采样处理，实验结果表明，我们的模型优于现存的最新方法，为此我们提出一种基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，包括包括近红外(NIR)图像超分辨率分析网络，其特征在于：使用三原色(RGB)图像作为边信息，下面介绍采用的数据集以及实验实施细节；