[发明专利]一种基于孪生网络的RGBD显著物体检测方法

说明书

本发明公开了图像处理与计算机视觉技术领域的一种基于孪生网络的RGBD显著物体检测方法，步骤包括：1，获取待检测图片的RGB图和深度图；2，将RGB图和深度图输入“孪生网络‑解码器”神经网络，输出RGBD显著性检测结果，“孪生网络‑解码器”神经网络预先经过联合训练，包括孪生网络和解码器；S2的步骤具体包括：RGB图和深度图输入孪生网络，输出孪生网络侧通路的RGB和深度层次化特征；RGB和深度层次化特征输入解码器，输出RGBD显著性检测结果。本发明采用孪生网络结合具有融合功能的解码器网络结构，将层次化特征进行特征融合后再解码，使得RGB信息和深度信息互相补充，提高检测性能，获取精细化的RGBD检测结果。

技术领域

本发明涉及图像处理与计算机视觉技术领域，特别涉及一种基于孪生网络的RGBD显著物体检测方法。

背景技术

显著性物体检测意图自动地检测图像或场景中人眼所关注的区域或物体，其检测结果被称为显著性图，可用于各种计算机视觉应用如目标检测与识别、图像压缩、图像检索、基于内容的图像编辑。尽管现存有许多针对RGB的显著性物体检测模型与算法(即输入图片为单张RGB彩色图像)，针对RGBD——即输入为单张RGB彩色图像及其对应的场景深度(Depth)图的显著性物体检测方法则一直比较欠缺。随着深度相机如微软Kinect、英特尔RealSense、以及手机深度相机的逐渐流行，从RGBD输入中检测显著物体的需求越来越大。

目前，利用深度学习及卷积神经网络实现RGBD显著性检测的方法相对较少。Chen等人于2018年提出“Progressively complementarity-aware fusion network for rgb-dsalient object detection”，该方法采用两路并行的神经网络(两路并行的神经网络结构不一致，参数非共享)对RGB和深度信息分别提取特征再进行融合，虽然其检测效果较传统人工设计特征的方法更好，但两路并行的网络结构在增加模型参数的同时使得整个模型变得更加复杂，不易训练，并且不利于挖掘RGB图和深度图在显著性特征上的共性，因而检测效果在复杂场景下受到局限。

发明内容

针对上述问题，本发明提出一种基于孪生网络的RGBD显著物体检测方法，构建参数共享的孪生神经网络(Siamese Network)来提取RGB图和深度图的层次化特征，并采用具有融合功能的解码器，将层次化特征进行特征融合后再进行解码，使得RGB信息和深度信息互相补充，提高检测性能。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于孪生网络的RGBD显著物体检测方法，包括以下步骤：

S1，获取待检测图片的RGB图和深度图；

S2，将RGB图和深度图输入“孪生网络-解码器”神经网络，输出RGBD显著性检测结果，“孪生网络-解码器”神经网络预先经过联合训练，“孪生网络-解码器”神经网络包括孪生网络和解码器；

S2的步骤包括以下步骤：

S21，RGB图和深度图输入孪生网络，输出孪生网络侧通路的RGB和深度层次化特征；

S22，RGB和深度层次化特征输入解码器，输出RGBD显著性检测结果，解码器用于融合RGB特征和深度特征。

作为本发明的优选方案，联合训练“孪生网络-解码器”神经网络的步骤包括：

S31，获取训练图片的RGB图、深度图和相应的期望显著性图；

S32，构建“孪生网络-解码器”神经网络，并设计“孪生网络-解码器”神经网络损失函数，“孪生网络-解码器”神经网络包括孪生网络和解码器；

S33，将RGB图和深度图输入孪生网络，得到相应的RGB显著性图和深度显著性图，并且得到孪生神经网络侧通路的RGB和深度层次化特征；