[发明专利]一种红外-可见光融合的深度神经网络及其建模方法

权利要求书

1.一种红外-可见光融合的深度神经网络，其特征在于，包括：

红外编码器模块，用于提取红外摄像机采集的红外图像特征，所述红外编码器模块包括三个Dwblock模块以及两个残差模块，红外图像依次输出至Dwblock模块、残差模块、Dwblock模块、Dwblock模块、残差模块以及1×1卷积层；

可见光编码器模块，用于提取可见光摄像机采集的可见光图像特征，所述可见光编码器模块包括两个Dwblock模块以及两个残差模块，可见光图像依次输出至Dwblock模块、残差模块、Dwblock模块、残差模块以及1×1卷积层；

解码器模块，将所述红外编码器模块与所述可见光编码器模块融合为融合编码器模块，所述融合编码器模块输出至所述解码器模块；以及

模型训练模块，所述解码器模块输出至所述模型训练模块，所述模型训练模块用于对所述深度神经网络模型进行训练。

2.根据权利要求1所述的红外-可见光融合的深度神经网络，其特征在于，所述Dwblock模块依次由数据填充、纵向卷积操作、批归一化处理、卷积操作和批归一化处理构成，其中，所述纵向卷积操作指输入图像有N个通道，就采用N个卷积核进行卷积，其中N为正整数。

3.根据权利要求2所述的红外-可见光融合的深度神经网络，其特征在于，所述数据填充操作指将所述红外图像或所述可见光图像的边界进行扩充，针对每个输入x_i所述批处理归一化过程为：x_i＝(x_i-u)/(sqrt((x_i-v)²)+e)，其中，u为输入{x₁，x₂，x₃，…，x_n}的均值，v为输入{x₁，x₂，x₃，...，x_n}的方差，e是一个小小偏置，防止分母趋向于0。

4.根据权利要求3所述的红外-可见光融合的深度神经网络，其特征在于，对所述批处理归一化的结果x_i进行了scale加上shift操作，即x_i＝scale*x_i+shift，其中scale和shift通过学习得到。

5.根据权利要求4所述的红外-可见光融合的深度神经网络，其特征在于，当输入为x时，所述残差模块输出为F(x)+x。

6.一种基于权利要求5所述的红外-可见光融合的深度神经网络的建模方法，其特征在于，包括如下步骤：

S10通过红外摄像机以及可见光摄像机分别采集红外图像与可见光图像，分别在所述红外图像与所述可见光图像中标注出危险源位置，构建双光危险源分割数据集；

S20构建可见光编码器模块以及红外编码器模块，并将可见光编码器模块以及红外编码器模块融合获得融合编码器模块，进而将所述双光危险源分割数据集输入所述融合编码器模块获得融合特征值；

S30构建解码模块，将所述融合特征值输入所述解码模块，将所述解码模块输出至softmax层，完成建模。

7.根据权利要求6所述的红外-可见光融合的建模方法，其特征在于，还包括S40步骤，位于所述S30步骤之后，交叉熵损失函数和梯度下降算法进行模型训练，损失函数定义如下：

其中，t_i为真实值，y_i代表softmax第i个输出值，i表示类别索引，C总的类别个数，v_i表示解码模块的第i个输出。