[发明专利]多尺度信息增强双目卷积神经网络显著性图像检测方法

权利要求书

1.一种多尺度信息增强双目卷积神经网络显著性图像检测方法，其特征在于，具体步骤包括如下：

获取训练集，所述训练集包括N对场景图像数据，与所述场景图像数据对应的真实标签图像；其中N对所述场景图像数据包括N幅原始的RGB图像和N幅深度图像；

构建端到端的卷积神经网络二分类训练模型；

将训练集中的每对原始的所述场景图像数据输入到所述卷积神经网络二分类训练模型中进行训练，经过多尺度特征细化提取，得到训练集中的每对原始的所述场景图像数据对应显著性预测图像，并进行预融合得到最终显著性预测图；

采用二分类交叉熵获得所述最终显著性预测图与所有真实显著检测图像集合之间的损失函数值；

重复计算损失函数值，确定最优权值矢量和最优偏置项优化卷积神经网络二分类训练模型的权重来获得训练好的卷积神经网络二分类训练模型。

2.根据权利要求1所述的一种多尺度信息增强双目卷积神经网络显著性图像检测方法，其特征在于，所述卷积神经网络二分类训练模型包括5个输出通道；其中，两个输入分别是RGB图像和深度图像像；第一输出通道和第二输出通道均包括第一神经网络块、第二神经网络块、融合块、多尺度特征提取块、注意力块和反向注意力块；所述第一神经网络块处理所述深度图像像得到第一特征图；所述第二神经网络块处理RGB图像得到第二特征图；所述第一特征图经所述反向注意力块得到第三特征图；所述反向注意力块的输入为第一特征图和下一级输出通道输出的显著性预测图像；所述融合块经所述第一特征图和所述第二特征图进行特征融合得到第五特征图；所述第二特征图和所述第三特征图作为所述多尺度特征提取块的输入，进行多尺度特征提取得到第四特征图；所述第四特征图和所述第五特征图作为注意力块的输入，得到显著性预测图像，经输出层输出；

其中，第三输出通道和第四输出通道的多尺度特征提取块与反向注意力块之间设置有上采样层；

第五输出通道的多尺度特征提取块仅有第二特征图作为输入；

每个输出通道得到显著性预测图像按通道相叠加得到最终显著性预测图像。

3.根据权利要求1所述的一种多尺度信息增强双目卷积神经网络显著性图像检测方法，其特征在于，

所述融合块均包括卷积层I、卷积层II，S型激活层I；

所述第一特征图经过所述卷积层I得到第六特征图；

所述第二特征图经过所述卷积层II得到第七特征图；

所述第六特征图经过S型激活层I与所述第七特征图进行张量相乘操作之后再加上所述第七特征图，得到的结果再与所述第六特征图进行通道堆叠操作，输出第五特征图。

4.根据权利要求2所述的一种多尺度信息增强双目卷积神经网络显著性图像检测方法，其特征在于，所述注意力块均包括：S型激活层A、卷积层A、卷积层B、激活层A和激活层B；

所述第四特征图经过所述S型激活层A通过张量操作压缩至按通道排列的像素值；所述第五特征图经过所述卷积层A、所述激活层A之后与像素值相乘得到中间特征图A，所述中间特征图A经过所述卷积层B、所述激活层B之后与所述第八特征图相加得到所述显著性预测图像并输出。

5.根据权利要求4所述的一种多尺度信息增强双目卷积神经网络显著性图像检测方法，其特征在于，所述反向注意力块包括：

所述反向注意力块均包括：S型激活层a、卷积层a、激活层a、卷积层b、激活层b；所述显著性预测图像取反后经过所述S型激活层a通过张量操作压缩至按通道排列的像素值；取反的特征图像素值反置，接收所述第一特征图经过所述卷积层a、所述激活层a之后与像素值相乘得到中间特征图a，所述中间特征图a经过所述卷积层b、所述激活层b之后与所述显著性预测图像相加得到第三特征图并输出。

6.根据权利要求2所述的一种多尺度信息增强双目卷积神经网络显著性图像检测方法，其特征在于，所述多尺度特征提取块包括：第一多尺度特征提取块、第二多尺度特征提取块、第三多尺度特征提取块、第四多尺度特征提取块和第五多尺度特征提取块；

其中，所述第五多尺度特征提取块包括五个扩张卷积通道和一个采样通道；第二特征图A分别经过所述扩张卷积通道和所述采样通道得到第四特征图A；

所述第四多尺度特征提取块包括四个扩张卷积通道和一个采样通道；第三特征图B经卷积和激活得到第九特征图B，所述第九特征图B与第二特征图B，进行通道堆叠操作，进行卷积层得到预备提取特征图B；所述预备提取特征图B与所述第二特征图B进行通道堆叠操作之后，经过所述采样通道得到第十特征图B，同时所述预备提取特征图经过所述扩张卷积通道得到第十一特征图B；所述第十特征图B与所述第十一特征图B进行通道堆叠经卷积得到第四特征图B；

所述第三多尺度特征提取块包括三个扩张卷积通道和一个采样通道；第三特征图C经卷积和激活得到第九特征图C，所述第九特征图C与第二特征图C，进行通道堆叠操作，进行卷积层得到预备提取特征图C；所述预备提取特征图C与所述第二特征图C进行通道堆叠操作之后，经过所述采样通道得到第十特征图C，同时所述预备提取特征图C经过所述扩张卷积通道得到第十一特征图C；所述第十特征图C与所述第十一特征图C进行通道堆叠经卷积得到第四特征图C；

所述第二多尺度特征提取块包括二个扩张卷积通道和一个采样通道；第三特征图D经卷积和激活得到第九特征图D，所述第九特征图D与第二特征图D，进行通道堆叠操作，进行卷积层得到预备提取特征图D；所述预备提取特征图D与所述第二特征图D进行通道堆叠操作之后，经过所述采样通道D得到第十特征图D，同时所述预备提取特征图D经过所述扩张卷积通道得到第十一特征图D；所述第十特征图D与所述第十一特征图D进行通道堆叠经卷积得到第四特征图D；

所述第一多尺度特征提取块和所述第二多尺度特征提取块结构相同。