[发明专利]一种半监督多光谱和全色遥感图像融合方法和系统

权利要求书

1.一种半监督多光谱和全色遥感图像融合方法，其特征在于，包括以下步骤：

A．提取从RGB颜色空间转换到HSV颜色空间的多光谱图像中的V通道；

反复执行下述步骤B～D，直至鉴别器鉴别通过；

B．利用生成器分别对全色图像和所述多光谱图像的V通道进行编码，编码过程采用多尺度卷积操作，再对多尺度卷积获得的中间结果进行卷积和残差块操作，以分别获得全色图像和多光谱图像V通道的特征；

C．生成器将编码后获得的全色图像和多光谱图像V通道的特征进行拼接，对拼接特征进行解码，以获得融合后的V通道；

D．将融合后的V通道，分别与全色图像和多光谱图像的V通道利用鉴别器进行鉴别；并将鉴别未通过时的鉴别结果反馈到生成器以调整生成器参数，具体为：将鉴别器输出的结果输入到对抗损失函数中得到损失值，基于该损失值更新生成器的相关参数；所述对抗损失函数由将最小二乘生成对抗网络的损失函数与L1损失相结合而成；

E．将生成器最后融合的V通道与多光谱图像的H、S通道进行拼接后获得HSV融合图像；

F．对HSV融合图像进行颜色空间逆变换，将HSV颜色空间变换到RGB颜色空间，得到最终的RGB融合图像。

2.如权利要求1所述的半监督多光谱和全色遥感图像融合方法，其特征在于，所述生成器包括两个编码器和一个解码器，两个编码器分别对全色图像和所述多光谱图像V通道进行编码，所述解码器对拼接特征进行解码；所述编码器采用残差块结构。

3.如权利要求2所述的半监督多光谱和全色遥感图像融合方法，其特征在于，所述编码器与解码器之间，采用跳层连接结构。

4.一种半监督多光谱和全色遥感图像融合系统，其特征在于，包括通道提取模块、生成器、鉴别器、图像融合模块和颜色空间转换模块，其中：

通道提取模块被配置为：将RGB颜色空间的多光谱图像转换到HSV颜色空间，并提取HSV颜色空间下多光谱图像的V通道；

生成器包括两个编码器和一个与所述编码器对应的解码器，所述编码器采用残差块结构，所述编码器的第一层均采用多尺度卷积模块，两个编码器分别用于对全色图像和所述多光谱图像的V通道进行编码，以分别获得全色图像和多光谱图像V通道的特征，将全色图像和多光谱图像V通道的特征进行拼接并由解码器解码得到融合后的V通道；

鉴别器包括被配置为：将融合后的V通道分别和全色图像和多光谱图像的V通道进行鉴别，并将鉴别未通过时的鉴别结果反馈到生成器以调整生成器参数，所述鉴别器将鉴别未通过时的鉴别结果反馈到生成器以调整生成器参数的方法为：将鉴别结果输入到对抗损失函数中得到损失值，基于该损失值更新生成器的相关参数；所述对抗损失函数由将最小二乘生成对抗网络的损失函数与L1损失相结合而成；

图像融合模块被配置为：将鉴别器鉴别通过的所述融合后的V通道，以及所述多光谱图像的H、S通道进行拼接，得到HSV融合图像；

颜色空间转换模块被配置为：对HSV融合图像进行颜色空间逆变换，将HSV颜色空间变换到RGB颜色空间，得到最终的RGB融合图像。

5.如权利要求4所述的半监督多光谱和全色遥感图像融合系统，其特征在于，所述编码器与所述解码器之间，采用跳层连接结构。