[发明专利]基于生成对抗网络的弱可见光与红外图像融合的识别方法

权利要求书

1.一种基于生成对抗网络的弱可见光与红外图像融合的识别方法，其特征在于，先利用生成对抗网络对弱可见光图像进行照度优化，然后将照度优化的可见光图像和红外图像进行图像级融合，最后将得到的融合图像输入修改得到的神经网络进行特征提取和分类识别，包括如下步骤：

(一)建立数据源，建立来源图像，包括：正常日光照度的可见光图像、同时在弱光环境下获取的弱可见光图像以及红外图像，对上述三种来源的图像进行尺寸归一化数据处理，将所有的图像大小固定为W×H像素值，将归一化的图像数据构造成一个Dim-nir-nor-Data数据集，按照生成对抗网络GAN阶段和卷积神经网络CNN阶段，分为两个子数据集；数据集的分组情况如下表所示：

(二)生成对抗网络GAN的训练，包括以下分步骤：

(1)建立生成器G网络模型，参照残差网络进行设计，其输入为弱可见光图像，输出为照度优化后的弱可见光图像，生成器G网络模型架构采用含五个残差块的残差神经网络模式；

(2)建立判别器D网络模型，参照VGGNet的网络结构进行设计，输入为正常照度的可见光图像或照度优化后的弱可见光图像，输入数据随机从以上两个数据源获取，总输入数据比例为1:1；输出为概率D(x)，表示输入图像为真实图像的概率；判别器D网络模型架构为：激活层使用的激活函数均为LeakyReLU函数，其中α＝0.2；

(3)对损失函数进行优化，包括均方误差MSE损失函数、对抗性损失函数、感知损失函数三个损失函数的优化；

所述均方误差MSE损失函数作为内容损失(content loss)函数是应用最为广泛的损失函数，是预测值与目标值之间差值取平方和的均值，其公式为：

其中n为统计的数据量总数，y_i、表示真实值和输出的预测值；

所述对抗性损失函数是为了从视觉效果得到更加真实的图像，引入的基于判别模型D的损失变量即对抗性损失(adversarial loss)，生成器损失是基于判别器D网络模型的概率D(G(I^Dim-vis))在所有训练样本上的定义：

其中，N表示判别图像总数，D(G(I^Dim-vis))表示照度优化弱可见光图像G(I^Dim-vis)即Gen-vis图像被判定为来源于正常照度的可见光图像数据集的概率；而D(G(I^Dim-vis))越大，则就越小，那么由生成器进行照度优化的效果就越接近正常光照样本的照度，具有更好的视觉效果，为了方便求取梯度，采用最小化-logD(G(I^Dim-vis))而不是log[1-D(G(I^Dim-vis))]；

所述感知损失函数作为GAN的损失函数，其由均方误差MSE损失函数和基于视觉特性的对抗性损失函数进行加权求和而得，具体公式为：

该感知损失函数能够使生成器G网络模型得到的结果从内容和视觉上都能够产生更能够欺骗到判别器D网络模型的图像数据，即能够生成更加具有与真实正常照度可见光图像相似的弱可见光图像照度优化的结果；

(4)对生成对抗网络GAN模型进行训练，用单独交替迭代训练方式将生成器G网络模型和判别器D网络模型训练成为两个独立的模型，训练过程运用的数据集为步骤(一)中弱可见光与正常日光照度图像对数据集的训练集；

(三)对弱可见光图像进行照度优化，具体分步骤如下：

(1)将生成对抗网络的生成器G网络模型作为此处的生成网络GNN，只是改了网络的名称，并不对网络结构进行任何修改；

(2)将生成器G网络模型的网络权重参数载入当前生成网络GNN中，得到权重参数训练好的生成网络GNN；

(3)将数据集中弱可见光图像I^Dim-vis输入生成网络GNN，通过各个隐含层的处理后输出照度优化后的弱可见光图像I^Gen-vis；

(四)对照度优化的弱可见光图像与红外图像进行融合，得到融合图像，具体的分步骤如下：

(1)将照度优化后的弱可见光图像从原本的RGB颜色空间映射到HSV颜色空间，得到该图像在HSV颜色空间下的Gen-vis-hsv图像，映射原则如下：

其中H、S和V分别表示HSV颜色空间中的色调(Hue)、饱和度(Saturation)和明度(Value)通道；色调H表示色彩信息即所处光谱颜色位置，取值范围为0°～360°；饱和度S表示颜色明亮的程度，取值范围为0％～100％，值越大，颜色越饱和；明度V表示颜色明亮的程度，取值范围为0％(黑)到100％(白)；min和max分别表示RGB颜色空间中R、G、B三个通道中的最小值和最大值；

(2)将得到的Gen-vis-hsv图像中表示图像明亮程度的通道Gen-vis-V图像与红外图像进行加权平均，将得到的新的明度通道图像代替Gen-vis-V图像：

其中V表示照度优化后的弱可见光图像的明度V通道图像，Dim-nir表示与弱可将光图像同源的红外图像；

(3)新明度通道图像，原始的色调H通道、饱和度S通道构成新的HSV颜色空间图像，记为Fusion-hsv，该图像为照度优化后的弱可见光图像和红外图像在HSV颜色空间上的融合图像；

(4)将在HSV颜色空间上的融合图像Fusion-hsv，按照如下公式所示映射逆变换还原到RGB颜色空间，得到最终融合图像Fudion-img：

C＝V×S

X＝C×(1-| (H/60°)mod2-1|)

m＝V-C

(R,G,B)＝((R′+m)×255,(G′+m)×255,(B′+m)×255)

其中C、X、m和(R′,G′,B′)只作为中间变量，没有具体的含义；H、S、V分别表示HSV颜色空间中的色调H、饱和度S和明度V通道图像，R、G、B则分别表示RGB颜色空间中的红色R、绿色G和蓝色B通道图像；映射之后的(R,G,B)即为还原得到的RGB图像；

以上步骤得到的RGB图像就是融合了红外图像信息与照度优化后的弱可见光图像信息的融合图像；

(五)对识别卷积神经网络进行构造与训练，包括以下分步骤：

(1)对识别卷积神经网络进行构造，识别卷积神经网络的输入、输出数据及模型架构具体如下：输入为融合图像，输出为识别结果标签，表示输入图像属于哪个类型的标签，识别卷积神经网络的模型架构利用深度卷积神经网络实现，其中激活层使用的激活函数均为LeakyReLU函数；

(2)对识别卷积神经网络进行训练；

(3)对识别卷积神经网络进行识别。