[发明专利]一种基于深度融合网络的双模态图像能见度检测方法

权利要求书

1.一种基于深度融合网络的双模态图像能见度检测方法，其特征在于：包括如下步骤：

步骤1)利用双目摄像机采集可见光、红外图像，并通过图像配准获取视野与分辨率均相同的可见光-红外图像对作为“深度融合网络”的双模态输入图像信号；

步骤2)建立“深度融合网络”，利用双模态图像数据集训练网络，获取神经网络权值参数；

步骤3)利用训练完毕的“深度融合网络”对待测的可见光-红外双模态图像能见度的等级进行分类；

所述的步骤1)为：

首先，将可见光彩色图像转换为灰度图像I_CCD，并且在灰度图像I_CCD和红外图像I_IR中分别提取SIFT特征点；然后，以红外图像I_IR中每个SIFT特征点F_IRⁱ为中心，在给定的搜索范围内在可见光灰度图像I_CCD中寻找SIFT候补特征点集合{F_CCD¹,F_CCD²,…F_IRⁿ}；接着，计算红外图像I_IR特征点F_IRⁱ与灰度图像I_CCD候补特征点集合中每一个特征点F_CCD^j之间的相似度，最后，根据最大相似度完成F_IRⁱ和{F_CCD¹,F_CCD²,…F_IRⁿ}之间的可见光-红外SIFT特征点匹配；其中，F_IRⁱ与F_CCD^j之间相似度的具体计算方法如下：

a.分别以SIFT特征点F_IRⁱ和F_CCD^j为中心，从I_IR和I_CCD中提取80x80的图像块P_IR和P_CCD；然后，分别从P_IR和P_CCD中提取384维的LGHD特征向量H_IRⁱ和H_CCD^j；

b.利用直方图交叉核度量两个LGHD特征向量H_IRⁱ和H_CCD^j之间的相似度，计算公式如下：

式中，H_IRⁱ是红外图像I_IR第i个SIFT特征点对应LGHD特征向量；H_CCD^j是可见光灰度图像I_CCD第j个SIFT特征点对应LGHD特征向量；

在红外图像I_IR中所有的SIFT特征点匹配之后，利用RANSAC算法从可见光-红外SIFT特征点对儿集合中，估计可见光图像I_CCD与红外图像I_IR之间的转换矩阵M；最后，根据M矩阵将灰度图像I_CCD转换为与红外图像I_IR在视野和分辨率均相同的图像I_color；

所述的步骤2)为：

双模态图像深度融合网络由四个子网络模块构成：“红外图像特征提取子网络”、“可见光图像特征提子网络”、“双模态图像特征叠加子网络”和“特征融合子网络”；

“红外图像特征提取子网络”的输入为红外图像I_IR，网络共有10层，分别是输入层：224x224x3、卷积层1：96个11x11卷积核、最大池化层1：3x3、卷积层2：256个5x5卷积核、最大池化层2：3x3、卷积层3：384个3x3卷积核、卷积层4：384个3x3卷积核、卷积层5：256个3x3卷积核、最大池化层3：3x3、全连接层：2048维；“红外图像特征提取子网络”的输出为2048维红外图像特征向量；

“可见光图像特征提取子网络”的输入为经过步骤1)配准过的可见光彩色图像I_color，网络共有10层，分别是输入层：224x224x3、卷积层1：96个11x11卷积核、最大池化层1：3x3、卷积层2：256个5x5卷积核、最大池化层2：3x3、卷积层3：384个3x3卷积核、卷积层4：384个3x3卷积核、卷积层5：256个3x3卷积核、最大池化层3：3x3、全连接层：2048维；“可见光图像特征提取子网络”的输出为2048维可见光图像特征向量；

“双模态图像特征叠加子网络”的输入由两路信号组成：分别为红外、可见光图像特征提取子网络在各个最大池化层后提取的特征图，“双模态图像特征叠加子网络”共10层：元素相加层1、卷积层2：256个5x5卷积核、最大池化层2：3x3、元素相加层2、卷积层3：384个3x3卷积核、卷积层4：384个3x3卷积核、卷积层5：256个3x3卷积核、最大池化层3：3x3、元素相加层3、全连接层：2048维；“双模态图像特征叠加子网络”能够有效地将可见光和红外图像在每个池化层后进行信息叠加；然后，再利用卷积层对叠加的信息提取特征；“双模态图像特征叠加子网络”的输出为2048维可见光-红外图像叠加信息特征向量；

“特征融合子网络”共有4层：首先，将“红外图像特征提取子网络”、“可见光图像特征提取子网络”和“双模态图像特征叠加子网络”的三个输出特征向量利用concate层进行拼接；然后，将拼接获取的6144维特征向量，送入Dropout层，防止训练中出现“过拟合”现象；接着，将Dropout层的输出送到6144维的融合全连接层，完成双模态图像特征的深度融合；最后，将输出的6144联合特征利用softmax层进行能见度等级的分类；

网络训练过程如下：首先，根据步骤1)预处理内容，将双目摄像机获取的可见光-红外图像配准成分辨率和视野相同的双模态图像：可见光-红外图像集合；然后，根据能见度的强弱将双模态图像训练集合分成N类：0为能见度最强，N为能见度最弱；对每一类的双模态图像标定种类标签Y,Y∈[0,N]；

网络训练过程如下：依次将每一类的双模态训练图像中的可见光彩色图像I_color利用imresize函数改变为分辨率为224x224x3的彩色图像作为“可见光图像特征提取子网络”的输入值；将每一类的多模态训练图像中红外图像I_IR利用imresize函数改变为分辨率为224x224x3的灰度图像作为“红外图像特征提取子网络”的输入值；将对应的标签Y作为训练的输出值；然后，利用“梯度下降法”求取“深度融合网络”中的每个权值；训练结束后，保存权值矩阵作为“深度融合网络”的数学模型。