[发明专利]基于隐含深度信息恢复的图像显著性物体检测方法及系统

说明书

本申请公开了基于隐含深度信息恢复的图像显著性物体检测方法及系统，获取目标图像和目标图像对应的图像深度信息；将目标图像和目标图像对应的图像深度信息，同时输入到训练后的基于隐含深度信息恢复的神经网络模型中；基于隐含深度信息恢复的神经网络模型分别实现对目标图像进行特征提取和对图像深度信息的特征提取；将两个特征提取各自得到的特征进行跨模态特征融合；将跨模态特征融合得到的特征，与基于隐含深度信息恢复的神经网络模型对目标图像进行特征提取得到的各个特征，依次进行特征融合得到最终的融合特征；将最终的融合特征进行预测，得到预测的显著性物体图像。

技术领域

本申请涉及计算机视觉技术领域，特别是涉及基于隐含深度信息恢复的图像显著性物体检测方法及系统。

背景技术

本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。

显著性物体检测(Salient Object Detection，SOD)是计算机视觉领域的一种基本任务，它的目标是识别并分割出给定自然图像中最具吸引眼球(most eye-catching)的物体。这个基本任务也经常被许多其他的计算机视觉的任务作为一种预处理步骤，如目标跟踪、图像编辑、弱监督学习等。虽然基于深度学习的显著性物体检测快速发展，且取得了较大的成功，目前的显著性物体检测方法通常只以自然场景作为输入，所以这些方法经常会因为分辨不清的前背景纹理特征而失效。

基于以上认知，人们开始研究深度信息对显著性物体检测的帮助，因为深度信息能够提供粗略的空间信息，尽管它有时因为深度传感器的限制而并不十分可靠。他们在研究深度信息对显著性物体检测带来的帮助方面取得了巨大的成功，开发了许多深度图像的显著性物体检测(RGB-D Salient Object Detection,RGB-D SOD)方法，并取得了很高的精度。然而，他们往往使用笨重的网络结构作为基础，如VGG，ResNets，DenseNets。这些网络结构往往具有较大模型大小，且需要大量的计算力作为支撑。这种限制使得这些新开发的深度图像的显著性物体检测方法难以被应用于实际场景下，特别是在具有深度传感器、计算力小、能耗接受度低的移动设备上进行应用。基于以上观察，想在移动设备上使用之前其他人开发的深度图像的显著性物体检测方法是不现实的。

发明内容

为了解决目前深度图像的显著性物体检测方法使用的基础卷积神经网络结构往往都是笨重的网络结构，如VGG、ResNets、DenseNets的不足，本申请提供了基于隐含深度信息恢复的图像显著性物体检测方法及系统；该方法第一次基于MobileNets、ShuffleNets等移动卷积神经网络设计，因计算量较低、速度更快，可以被应用到移动设备中。因为移动卷积神经网络提取的特征的表达能力较差，本申请基于本申请新设计的隐含深度信息恢复技术，设计了一个隐含深度信息恢复模块，大大地增强基于移动卷积神经网络的自底向上网络的特征表达能力。

第一方面，本申请提供了基于隐含深度信息恢复的图像显著性物体检测方法；

基于隐含深度信息恢复的图像显著性物体检测方法，包括：

获取目标图像和目标图像对应的图像深度信息；

将目标图像和目标图像对应的图像深度信息，同时输入到训练后的基于隐含深度信息恢复的神经网络模型中；基于隐含深度信息恢复的神经网络模型分别实现对目标图像进行特征提取和对图像深度信息的特征提取；将两个特征提取各自得到的特征进行跨模态特征融合；将跨模态特征融合得到的特征，与基于隐含深度信息恢复的神经网络模型对目标图像进行特征提取得到的各个特征，依次进行特征融合得到最终的融合特征；将最终的融合特征进行预测，得到预测的显著性物体图像。

第二方面，本申请提供了基于隐含深度信息恢复的图像显著性物体检测系统；

基于隐含深度信息恢复的图像显著性物体检测系统，包括：

获取模块，其被配置为：获取目标图像和目标图像对应的图像深度信息；