[发明专利]基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法

权利要求书

1.基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，包括近红外(NIR)图像超分辨率分析网络，其特征在于：使用三原色(RGB)图像作为边信息，下面介绍采用的数据集以及实验实施细节；

由于近红外(NIR)传感器与三原色(RGB)传感器相比，每像素成本较高，因此近红外(NIR)传感器以较低的分辨率获取近红外(NIR)图像，我们使用EPFL三原色(RGB)-近红外(NIR)数据集，并将我们的模型应用于低分辨率近红外(NIR)图像的超分辨率分析，以高分辨率三原色(RGB)图像作为辅助信息，数据集包含477对空间对齐的近红外(NIR)/三原色(RGB)图像对，我们的训练集包含从50张图像中提取的大约30,000张裁剪后的图像对，每个训练图像的尺寸为44×44像素，这个尺寸是根据内存需求和计算复杂度选择的，我们还创建了一个包含25个图像对的测试集；对整个图像进行测试；

近红外(NIR)图像由一个通道组成，训练所用和测试所用近红外(NIR)图像的低分辨率版本是通过模糊和缩小真实高分辨率版本生成的，我们将三原色(RGB)图像转换为YCbCr，使用其中的亮度通道作为边信息，我们将双三次插值作为预处理步骤来放大低分辨率输入，以使输入和输出图像的大小相同；

本方法提出的多模态学习卷积稀疏编码网络的图像超分辨率分析方法(LMCSC-SR)，它由3种共5个模块组合成：(1)1个多模态学习卷积稀疏编码器(LMCSC)，该网络借助边信息来生成低分辨率输入图像的卷积隐式表达；(2)2个边信息编码器，即近似卷积稀疏编码器(ACSC)，其中一个用于生成引导高分辨率图像的隐式表达、另一个用于在不使用边信息的情况下，增强目标模态的低分辨率和高分辨率图像之间的转换；(3)2个卷积解码器，计算目标高分辨率图像，同时，通过使用与输入一致的映射，将网络的输出作为高频细节信息，网络输入作为低频信息融合在一起，即通过采用残差学习来提高训练效率；

本方法的核心是多模态学习卷积稀疏编码器(LMCSC)，这里先给出基本问题的设定，然后给出多模态学习卷积稀疏编码器(LMCSC)的构建方法，用于图像超分辨率的分析。

2.根据权利要求1所述的基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，其特征在于：所述图像超分辨率分析可以看成为线性逆问题，公式如下：

y＝Lx+η\*MERGEFORMAT(16)，

其中，是未知高分辨率图像的矢量化形式，表示参杂了噪声的低分辨率观测值，线性算子描述了观测机制，它可以表示为下采样算子E和模糊滤波器H的乘积。

3.根据权利要求2所述的基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，其特征在于：所述线性观测算子L需要进行额外的正则化以求解，稀疏性已广泛用作解决稀疏近似问题的正则化器，在本方法采用稀疏建模方法取代直接求解x的方法，通过联合稀疏表示来表达双三次放大的低分辨率图像中的n维(矢量化的)斑块y和相应高分辨率图像中的相应斑块x，通过联合学习两个字典分别面向低分辨率和高分辨率图像斑块，我们可以强制斑块对的稀疏表示的相似性，使得y＝Ψ_yα，和x＝Ψ_xα，然后，通过求解

计算出高分辨率斑块x，这等同于找到低分辨率斑块y的稀疏表示，其中λ是正则化参数，是趋近稀疏性的l₁范数，这里采用卷积稀疏编码求解问题(2)，用表示感兴趣的图像，通过解决以下问题获得卷积稀疏码：

4.根据权利要求1所述的基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法，其特征在于：步骤3)中，其中是Frobenius范数，k是是卷积字典的原子，k是相对于字典D的稀疏特征映射，l₁范数是计算U_i中元素的绝对值之和(就像U_i是作为向量展开)，如果可以获得与目标信号y相关的边信息ω，则可以提高稀疏近似问题的准确性，假设和在字典的情况下分别具有相似的稀疏表示形式稀疏表示α将可通过l₁-l₁最小化问题求解：

这里通过神经网络设计解决这个稀疏近似的问题，使用学习迭代软阈值算法。