[发明专利]一种三输入的RGB-D显著性目标检测算法

说明书

本发明公开了一种三输入的RGB‑D显著性目标检测算法，应用于计算机视觉技术领域。针对不同类型的图片使用了不同框架的预训练操作，并且从预训练中提取特征信息。在传统的RGB‑D双流模型的基础上增加了一条由RGB信息和深度信息拼接而成的彩色深度信息线路。融合了彩色信息和深度信息，有效的减少了信息损耗。本发明还设计了一个新型融合模块，融合了多层次的信息特征。在模型输出的地方，本发明又设计了四个不同尺度的输出，总体损失为四个输出的损失之和，这种方法既保护了低级特征的信息又维护了高级特征信息。

技术领域

本发明涉及计算机视觉技术领域，尤其是涉及一种三输入的RGB-D显著性目标检测算法。

背景技术

显著性目标检测是图像处理的一个分支，也是计算机视觉的一个领域。从广义上说，计算机视觉就是赋予机器自然视觉能力的学科。自然视觉能力就是指生物视觉系统体现的视觉能力。实际上，计算机视觉本质上就是研究视觉感知问题。核心问题就是研究如何对输入的图像信息进行组织，对物体和场景进行识别，进而对图像内容给予解释。

近几十年来，计算机视觉一直是人们越来越感兴趣和严格研究的课题。计算机视觉也越来越善于从图像中识别模式。甚至在各个领域都发挥了巨大作用，随着人工智能与计算机视觉技术的惊人成就在不同行业越来越普遍，计算机视觉的未来似乎充满了希望和难以想象的结果。而本文涉及到的显著性目标检测就是其中的一个分类，但也发挥着巨大的作用。

人类的大脑和视觉系统能够在一个场景中快速定位区域，从背景中脱颖而出。显著性目标检测的目的是模拟人类视觉系统，检测最吸引人视觉注意的像素或区域。也就是识别视觉上感兴趣的、符合人类感知的目标区域。它在许多计算机视觉任务中是必不可少的，包括对象感知图像重定向、上下文感知图像编辑、图像裁剪、交互式图像分割和识别。尽管已经取得了相当大的进展，但它仍然是一个具有挑战性的任务，需要有效的方法来处理真实世界的场景。

经过多年的探索与发展，深度图像的出现让显著性目标检测有了更进一步发展的可能。深度图像具有彩色图像没有的深度信息，深度信息需要从深度图中提取，深度信息经过提取可以显著的提高目标检测的效率。现有的RGB-D模型分为三种：一种是将深度信息作为模型的一条线路进行检测；另一种是将深度信息作为辅助信息输入到模型中；还有一种是将深度图作为直接使用深度数据作为网络输入的第四通道。而本发明将第三种和第一种结合，以达到数据的原始性和一致性。

发明内容

有鉴于此，本发明提供了一种三输入的RGB-D显著性目标检测算法。

为了实现上述目的，本发明采用如下技术方案：

本发明提出的一种三输入的RGB-D显著性目标检测算法，具体步骤如下：

选取Q幅的彩色真实目标图像和相对应的深度图像，还有彩色深度图像，以及每幅彩色真实目标图像对应的显著性图像，并构成训练集；

构建卷积神经网络；

将训练集中的每幅原始的彩色真实目标图像转换尺寸变为224×224作为原始RGB输入图像，输入到Res2Net50中进行预训练；

模型一共有四个输出，每个输出都进行计算训练集中的每幅原始的彩色真实目标图像对应的显著性检测预测图构成的集合与对应的真实显著性检测图像处理成的对应尺寸大小的编码图像构成的集合之间的损失函数值，采用带权重的交叉熵损失函数获得，四个输出各有一个损失结果；最后总损失为四个输出损失相加；

重复进行预训练和损失结果的计算，得到卷积神经网络分类训练模型，在损失函数值中找出值最小的损失函数值；接着将值最小的损失函数值对应的权值矢量和偏置项对应作为卷积神经网络分类训练模型的最优权值矢量和最优偏置项。