[发明专利]基于隐含深度信息恢复的图像显著性物体检测方法及系统

权利要求书

1.基于隐含深度信息恢复的图像显著性物体检测方法，其特征是，包括：

获取目标图像和目标图像对应的图像深度信息；

将目标图像和目标图像对应的图像深度信息，同时输入到训练后的基于隐含深度信息恢复的神经网络模型中；基于隐含深度信息恢复的神经网络模型分别实现对目标图像进行特征提取和对图像深度信息的特征提取；将两个特征提取各自得到的特征进行跨模态特征融合；将跨模态特征融合得到的特征，与基于隐含深度信息恢复的神经网络模型对目标图像进行特征提取得到的各个特征，依次进行特征融合得到最终的融合特征；将最终的融合特征进行预测，得到预测的显著性物体图像；

基于隐含深度信息恢复的神经网络模型，网络结构包括：

并联的第一自底向上网络和第二自底向上网络；

所述第一自底向上网络和第二自底向上网络的内部结构是一样的；

所述第一自底向上网络，包括：依次连接的第一基础模块、第二基础模块、第三基础模块、第四基础模块和第五基础模块；

第一自底向上网络的输出端和第二自底向上网络的输出端，均与跨模态特征融合模块的输入端连接；

跨模态特征融合模块的输出端，分别与隐含深度恢复模块的输入端和自顶向下网络的输入端连接；

第一自底向上网络的第一基础模块、第二基础模块、第三基础模块、第四基础模块的输出端均与隐含深度恢复模块连接；且，

第一自底向上网络的第一基础模块、第二基础模块、第三基础模块、第四基础模块的输出端均与自顶向下网络中对应的特征融合单元连接。

2.如权利要求1所述的基于隐含深度信息恢复的图像显著性物体检测方法，其特征是，

第一基础模块，包括：依次连接的第一卷积层、第一深度可分离卷积层和第二卷积层；

第二基础模块，包括：依次连接的第二深度可分离卷积层、第三卷积层、第三深度可分离卷积层和第四卷积层；

第三基础模块，包括：依次连接的第四深度可分离卷积层、第五卷积层、第五深度可分离卷积层和第六卷积层；

第四基础模块，包括：依次连接的第六深度可分离卷积层、第七卷积层、第七深度可分离卷积层和第八卷积层；

第五基础模块，包括：依次连接的第八深度可分离卷积层、第九卷积层、第九深度可分离卷积层和第十卷积层。

3.如权利要求1所述的基于隐含深度信息恢复的图像显著性物体检测方法，其特征是，所述跨模态特征融合模块，包括：

依次串联的第一乘法器、深度可分离卷积层DwConv、全局平均池化层GAP、第一全连接层、第二全连接层和第二乘法器；

其中，第一乘法器的输入端，分别与第一自底向上网络的输出端和第二自底向上网络的输出端连接；

其中，深度可分离卷积层DwConv的输出端与第二乘法器的输入端连接；

其中，第二乘法器的输出端作为跨模态特征融合模块的输出端。

4.如权利要求1所述的基于隐含深度信息恢复的图像显著性物体检测方法，其特征是，所述自顶向下网络，包括：

依次连接的第一特征融合单元、第二特征融合单元、第三特征融合单元、第四特征融合单元和第五特征融合单元；

其中，第一特征融合单元的输入端，与跨模态特征融合模块的输出端连接；

其中，第二特征融合单元的输入端，还与第一自底向上网络的第四基础模块的输出端连接；

其中，第三特征融合单元的输入端，还与第一自底向上网络的第三基础模块的输出端连接；

其中，第四特征融合单元的输入端，还与第一自底向上网络的第二基础模块的输出端连接；

其中，第五特征融合单元的输入端，还与第一自底向上网络的第一基础模块的输出端连接；

其中，第五特征融合单元的输出端，与卷积层的输入端连接，卷积层的输出端与sigmoid函数层的输入端连接，sigmoid函数层的输出端用于输出预测的显著性图。