[发明专利]一种结合彩色和深度信息的图像显著目标检测方法

说明书

本发明公开了一种结合彩色和深度信息的图像显著目标检测方法。采集多幅已知显著目标区域的彩色图像及其对应的深度图像，构建神经网络并输入彩色图像与深度图像，分别得到彩色和深度信息预测的显著图，神经网络设置一路分支预测权重图，彩色信息预测的显著图和深度信息预测的显著图根据权重图得到融合后的最终显著目标检测图；构建显著图损失函数、权重图损失函数和边缘保持损失函数进行训练，采用训练后的神经网络处理待测彩色图像及其深度图像，获得显著目标检测结果。本发明能够选择彩色及深度信息预测的显著图各自最有效的部分进行融合，同时保持边缘细节，与以往结合彩色和深度信息的图像显著目标检测方法相比取得了更好的效果。

技术领域

本发明属于图像处理技术领域，具体涉及一种结合彩色和深度信息的图像显著目标检测方法。

背景技术

图像显著目标检测旨在从包含大量信息的图像场景中检测出重要的、引人注意的区域。研究发现人类的视觉机制总是能够快速从场景中找到这类区域并对其进行分析，而很少对其余并不显著的区域加以处理，显著目标检测任务目的即在于构造自动化的工具模拟此视觉机制，提取图像中的显著区域。对于后续处理来说，以显著区域作为处理单元，可以节省对全图进行处理的时间，提高图像的处理效率。因此，显著目标检测被广泛地应用在图像分割、图像检索和目标识别等领域，是当前计算机视觉领域的热点研究方向之一。

以往大部分的图像显著目标检测算法仅在彩色图像上实现，没有利用其他的补充信息。随着三维感知传感器技术的发展，物体的距离信息是人类可以获取并利用的重要线索。在彩色图像中，目标物体有时与背景或者周围区域拥有相似的纹理、颜色等特征，但与周围物体存在着距离上的差异，此时深度信息通常能够给出具有判别性的线索。这意味着，我们可以结合彩色和深度信息，使其相互补充，共同预测，从而使得显著目标检测任务能够获得表现更好、更具鲁棒性的预测结果。

然而如何对彩色信息与深度信息进行更好地融合仍是一个值得思考的问题，以往的方法对于两种不同模态结合方式的挖掘依然不够深入，只有充分发挥彩色信息与深度信息各自有效的内容，才能有益于最终的检测结果。另外，保持预测显著图的边缘细节也是帮助检测结果获得更好表现的一个关注点。

发明内容

本发明的目的在于克服现有技术的不足，提出新的融合方式，更充分地利用彩色信息和深度信息各自的有效部分，改进结合彩色和深度信息的显著目标检测效果，同时加入边缘损失函数，保持预测显著图的边缘细节。

本发明采用的技术方案是包括如下步骤：

步骤1)采集多幅已知显著目标区域的彩色图像RGB及其对应的深度图像D以及彩色图像RGB和深度图像D对应的显著目标真值图Y；显著目标真值图Y为显著目标所在区域和非显著目标所在区域的标签，实质上为二值化图。显著目标真值图是总共具有T个像素点的图像，其中y_i表示在位置i上像素的显著值，y_i＝1表示显著的像素点，y_i＝0表示非显著的像素点。

步骤2)构建显著目标检测的神经网络，包括有：将彩色图像RGB和深度图像D输入神经网络得到彩色信息预测的显著图P_rgb和深度信息预测的显著图P_d，神经网络设置一路分支并结合显著目标真值图Y预测获得一张权重图SW，权重图SW用于帮助彩色信息预测的显著图P_rgb和深度信息预测的显著图P_d的加权融合，彩色信息预测的显著图P_rgb和深度信息预测的显著图P_d根据权重图SW得到融合后的显著目标检测图P_fuse；

步骤3)构建显著图损失函数L_sal、权重图损失函数L_sw和显著图边缘损失函数L_edge三个损失函数，将三个损失函数计算获得的损失函数值通过反向传播进行迭代计算，从而对神经网络进行训练；