[发明专利]多尺度信息增强双目卷积神经网络显著性图像检测方法

说明书

本发明公开了一种多尺度信息增强双目卷积神经网络显著性图像检测方法，涉及神经网络技术领域。本发明方法构建了端到端的卷积神经网络二分类训练模型，将训练集中的原始场景图像数据输入到卷积神经网络二分类训练模型中进行训练，得到最终显著性预测图，重复计算最终显著性预测图与真实显著检测图像集合之间的损失函数值，来获得训练好的卷积神经网络二分类训练模型，将待显著性检测的场景图像输入到卷积神经网络二分类训练模型中，得到预测显著性检测图像，使用本发明方法生成的显著性检测图边界清晰结构完整，解决了现有方法生成的显著图结构缺失，细节不完整的问题。

技术领域

本发明涉及神经网络技术领域，更具体的说是涉及一种多尺度信息增强双目卷积神经网络显著性图像检测方法。

背景技术

近年来，由于计算机硬件能力迅速增加和深度神经网络的兴起，许多关于传统计算机视觉任务很快被重新定义，借助深度学习这一工具，很多视觉任务指标迅速被刷新，其中就包括显著性检测。显著性检测是一项基于人脑注意力机制的检测方法。当人看到一幅场景时，人类自动的优先处理一部分感兴趣的区域，而会暂时忽略掉不感兴趣区域，而人类通过自己独特的注意力机制筛选的感兴趣的区域就被称作显著性区域，而显著性检测是一种通过现有手段检测出显著性区域的任务，在计算机视觉上类似于抠图，语义分割等等。传统的显著性检测是依赖手工提取特征，过程繁琐且效率低下，其产生的结果也不够理想，在实际生活产业化中不容易去实现。当深度网络模型引入到显著性检测时，这些缺点慢慢被克服。即使使用较为简单的深度神经网络进行编码预训练，解码出来的结果也超过了大多数手工提取特征方法。显著性检测可以作为其他视觉任务的第一个步骤，如语义分割、行为识别等等，在工业上也有很多用途，如智能驾驶、手机摄像等等。

为了将深度神经网络用于显著性检测方法，许多研究者们提出很多单流网络仅仅通过RGB图片输入就能获得不错的效果。但是科技是一直在前进的，传感器硬件的进步让人们能得到RGB图片的同时能获得关于具有深度信息的深度图像片，在这里我们将其称为深度图像。深度图像具有和RGB图片一样的场景但是拥有不同的语义信息。现在的方法是利用深度图像辅助RGB图进行显著性检测，建造一个双目卷积神经网络模型。但是基于深度图像的特性，未充分利用的深度图像或许不会在网络中起到积极的作用，由于传感器的拍摄的深度图像有一定误差，在网络中深度图像和RGB图的信息特征融合方法也需要去深入研究。

因此，如何提供一种针对特征信息利用不充分并能有效得到显著图像的方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种多尺度信息增强双目卷积神经网络显著性图像检测方法，以解决背景技术中提出的特征信息利用不充分不能有效得到显著图像的问题。

为了达到上述目的，本发明采用如下技术方案：一种多尺度信息增强双目卷积神经网络显著性图像检测方法，具体步骤如下：

获取训练集，所述训练集包括N对场景图像数据，与所述场景图像数据对应的真实标签图像；其中N对所述场景图像数据包括N幅原始的RGB图像和N幅深度图像；

构建端到端的卷积神经网络二分类训练模型；

将训练集中的每对原始的所述场景图像数据输入到所述卷积神经网络二分类训练模型中进行训练，经过多尺度特征细化提取，得到训练集中的每对原始的场景图像数据对应显著性预测图像，并进行预融合得到最终显著性预测图；

采用二分类交叉熵获得所述最终显著性预测图与所有真实显著检测图像集合之间的损失函数值；

重复计算损失函数值，确定最优权值矢量和最优偏置项优化卷积神经网络二分类训练模型的权重来获得训练好的卷积神经网络二分类训练模型。