[发明专利]多特征级联RGB-D显著性目标检测方法

权利要求书

1.一种多特征级联RGB-D显著性目标检测方法，其特征在于，包括以下步骤：

步骤1_1：选取Q幅原始RGB图像及其对应的深度图像，结合各幅原始RGB图像对应的真实显著性图像一起构成训练集；

步骤1_2：构建卷积神经网络：卷积神经网络包括两个输入层、隐层和输出层，两个输入层连接到隐层的输入端，隐层的输出端连接到输出层；

步骤1_3：将训练集中每幅原始RGB图像及其对应的深度图像，分别作为两个输入层的原始输入图像，输入到卷积神经网络中进行训练，得到训练集中的每幅原始RGB图像对应的预测显著性图像；计算训练集中的每幅原始RGB图像对应的预测显著性图像与对应的真实显著性图像之间的损失函数值，损失函数值采用BCE损失函数获得；

步骤1_4：重复执行步骤1_3共V次，得到卷积神经网络分类训练模型，并共得到Q×V个损失函数值；然后从Q×V个损失函数值中找出值最小的损失函数值；接着将值最小的损失函数值对应的权值矢量和偏置项对应作为最优权值矢量和最优偏置项并替换训练好的卷积神经网络分类训练模型中的权值矢量和偏置项；

步骤1_5：将待预测RGB图像及其对应的深度图像输入到训练好的卷积神经网络分类训练模型中，并利用最优权值矢量和最优偏置项进行预测，得到待预测RGB图像对应的预测显著性图像，从而实现显著性目标检测；

所述步骤1_2中的两个输入层，第1个输入层是RGB图像输入层，第2个输入层是深度图像输入层；所述隐层包括RGB特征提取模块、深度特征提取模块、混合特征卷积层、细节信息处理模块、全局信息处理模块、SKNet网络模型和后处理模块；

RGB特征提取模块包括四个依次连接的彩色图神经网络块、四个彩色注意力层、八个彩色上采样层、四个注意力卷积层和四个彩色卷积层；四个依次连接的彩色图神经网络块分别对应ResNet50中依次连接的四个模块，第一个彩色图神经网络块的输出分别连接至第一个RGB分支和第五个RGB分支，第二个彩色图神经网络块的输出分别连接至第二个RGB分支和第六个RGB分支，第三个彩色图神经网络块的输出分别连接至第三个RGB分支和第七个RGB分支，第四个彩色图神经网络块的输出分别连接至第四个RGB分支和第八个RGB分支；

深度特征提取模块包括四个依次连接的深度图神经网络块、四个深度注意力层、八个深度上采样层、四个注意力卷积层和四个深度卷积层，四个依次连接的深度图神经网络块分别对应ResNet50中依次连接的四个模块，第一个深度图神经网络块的输出分别连接至第一个深度分支和第五个深度分支，第二个深度图神经网络块的输出分别连接至第二个深度分支和第六个深度分支，第三个深度图神经网络块的输出分别连接至第三个深度分支和第七个深度分支，第四个深度图神经网络块的输出分别连接至第四个深度分支和第八个深度分支；

第一个RGB分支和第二个RGB分支的输出相乘后作为低级特征卷积层的其中一个输入，第一个深度分支和第二个深度分支的输出相乘后作为低级特征卷积层的另一个输入；第三个RGB分支和第四个RGB分支的输出相乘后作为高级特征卷积层的其中一个输入，第三个深度分支和第四个深度分支的输出相乘后作为高级特征卷积层的另一个输入；

低级特征卷积层和高级特征卷积层的输出均输入混合特征卷积层；

第五个RGB分支和第六个RGB分支的融合结果与第五个深度分支和第六个深度分支的融合结果相乘后输入细节信息处理模块；第七个RGB分支和第八个RGB分支的融合结果与第七个深度分支和第八个深度分支的融合结果相乘后输入全局信息处理模块；

混合特征卷积层的输出和细节信息处理模块的输出融合后作为SKNet网络模型的其中一个输入，混合特征卷积层的输出和全局信息处理模块的输出融合后作为SKNet网络模型的另一个输入；

后处理模块包括依次连接的第一个反卷积层和第二个反卷积层，后处理模块的输入为SKNet网络模型的输出，后处理模块的输出最后经输出层输出。