[发明专利]多级深度特征融合的RGB-T图像显著性目标检测方法

权利要求书

1.多级深度特征融合的RGB-T图像显著性目标检测方法，其特征在于，包括如下步骤：

(1)对输入图像提取粗糙的多级特征：

对图像提取基础网络中位于不同深度的5级特征作为粗糙的单模态特征；

(2)构建邻近深度特征融合模块，改善单模态特征：

建立多个邻近深度特征融合模块，然后通过该邻近深度特征融合模块将步骤(1)得到的5级粗糙的单模态特征处理，将来自邻近深度的3级特征进行融合，得到改善的3级单模态特征；

(3)构建多分支组融合模块，融合多模态特征：

构建包含两个融合分支的多分支组融合模块，对步骤(2)得到的改善的3级单模态特征中，位于同一特征级下的不同单模态特征进行融合，得到融合的多模态特征；

(4)得到融合输出特征图：

将步骤(3)得到的融合的多模态特征的不同级特征逐级反向融合，得到多个边输出特征图，并将所有边输出特征图融合，得到融合输出特征图；

(5)训练算法网络：

在训练数据集上，对步骤(4)中得到的边输出特征图和融合输出特征图，采用深度监督学习机制，通过最小化交叉熵损失函数，完成算法网络训练，得到网络模型参数；

(6)预测RGB-T图像的像素级显著图：

在测试数据集上，利用步骤(5)得到的网络模型参数，对步骤(4)中得到的边输出特征图和融合输出特征图，通过sigmoid分类计算，预测RGB-T图像的像素级显著图。

2.如权利要求1所述的多级深度特征融合的RGB-T图像显著性目标检测方法，其特征在于，步骤(1)中所述的图像为RGB图像或热红外图像。

3.如权利要求1所述的多级深度特征融合的RGB-T图像显著性目标检测方法，其特征在于，步骤(1)中的基础网络为VGG16网络。

4.如权利要求2所述的多级深度特征融合的RGB-T图像显著性目标检测方法，其特征在于，步骤(2)中所述的构建邻近深度特征融合模块，包括以下步骤：

(21)将步骤(1)得到的5级粗糙的单模态特征分别用符号表示，其中，n＝1或者2，分别代表RGB图像或热红外图像；

(22)每一个邻近深度融合模块包含3个卷积操作和1个反卷积操作，以获得第d级单模态特征，d＝1,2,3。

5.如权利要求4所述的多级深度特征融合的RGB-T图像显著性目标检测方法，其特征在于，步骤(22)包括：

(221)将一个卷积核为3×3，步长为2，参数为的卷积操作一个卷积核为1×1，步长为1，参数为的卷积操作和一个卷积核为2×2，步长为1/2，参数为的反卷积操作分别作用于和

(222)将这3级特征级联，并通过一个卷积核为1×1，步长为1，参数为的卷积操作得到128通道的第d级单模态特征邻近深度融合模块可表示如下：

其中：

Cat(·)表示跨通道级联操作；

φ(·)是一个ReLu激活函数。

6.如权利要求1所述的多级深度特征融合的RGB-T图像显著性目标检测方法，其特征在于，步骤(3)中的多分支组融合模块是针对同一特征级下的不同单模态进行融合，且包括两个融合分支：多组融合分支和单组融合分支，其中：

多组融合分支有8个组，单组融合分支只有一个组；

每个融合分支输出64通道的特征，将两个融合分支输出特征进行级联，得到128通道的多模态特征。