[发明专利]一种基于注意力机制的非对称多模态融合显著性检测方法

说明书

本发明公开了一种基于注意力机制的非对称多模态融合显著性检测方法。输入原始立体图像的RGB图和深度图进卷积神经网络中进行训练，得到相应的显著性检测图；再通过计算模型生成的显著性检测图构成的集合与对应的真实人眼注视图构成的集合之间的损失函数，获得卷积神经网络分类训练模型的最优权值矢量和偏置项；将选定数据集中的立体图像输入到训练好的卷积神经网络模型中，得到显著性检测的图像。本发明采用非对称的编码结构充分提取RGB和深度图特征，加入内部感知模块后有效利用RGB丰富的图像信息，加入通道和空间注意力机制，增强了显著性区域和显著性特征的表达，提高了视觉显著性检测的检测准确度。

技术领域

本发明涉及一种深度学习的视觉显著性检测方法，尤其是涉及一种基于注意力机制的非对称多模态融合显著性检测方法。

背景技术

在图像中寻找感兴趣的对象时，人可以自动捕获对象及其上下文之间的语义信息，对显著对象给予高度的关注，并选择性地抑制不重要的因素。这种精确的视觉注意机制已经在各种生物逻辑模型中得到了解释。显著性检测的目的是自动检测图像中最具信息和吸引力的部分。在许多图像应用，例如图像质量评估、语义分割、图像识别等，确定显著目标不仅可以降低计算成本，还可以提高显著性模型的性能。早期的显著性检测方法采用手工特征，即主要针对图像颜色、纹理、对比度等进行先验式模拟近似人眼注视的显著性。随着显著性研究的深入，发现这些手工特征已经不足以很好的捕获图像中的特征，因为这种手工特征未能提取到图像中的对象特征和其周围环境的高级语义。因此，采用深度学习的方法能更好的提取图像特征，以达到更好的显著性检测效果。现有的显著性检测方法大多数已经采用深度学习的方法，利用卷积层与池化层相结合的方法提取图像特征，但是单纯的使用卷积操作与池化操作获得的图像特征不具有代表性，尤其是进行池化操作会丢失图像的特征信息，从而会导致得到的显著性预测图效果较差，预测的准确度低。

发明内容

为了解决背景技术中存在的问题，本发明所要解决的技术问题是提供一种基于注意力机制的非对称多模态融合显著性检测方法，其检测准确度高。

本发明解决上述技术问题所采用的技术方案为：一种基于注意力机制的非对称多模态融合显著性检测方法，其特征在于包括训练阶段和测试阶段两个过程；

所述的训练阶段为：在构建卷积神经网络时，输入层的输入端输入原始立体图像的RGB图和对应的深度图，输入原始立体图像的RGB图(即RGB彩色图)和深度图进卷积神经网络中进行训练，得到相应的显著性检测图；再通过计算模型生成的显著性检测图构成的集合与对应的真实人眼注视图构成的集合之间的损失函数，获得卷积神经网络分类训练模型的最优权值矢量和偏置项；将选定数据集中的立体图像输入到训练好的卷积神经网络模型中，得到显著性检测的图像。

所述的训练阶段过程的具体步骤为：

步骤1.1)：采集选取带有目标物体的n幅原始立体图像(RGB图)的RGB图、深度图并和标注获得的真实人眼注释图构成训练集，并采用HHA方法将训练集中的深度图均处理为与原始立体图像一样具有三通道的集合Hⁱ；

所述的原始立体图像具体为针对静态物体的图像识别，例如为道路上监控摄像头中的车辆/行人检测。

训练集中，第i幅(1≤i≤n)原始立体图像的RGB图记为原始立体图像所对应的深度图记为原始立体图像和深度图所对应的真实人眼注视图记为{Gⁱ(x，y)}，其中(x，y)代表像素点的坐标位置，用W表示原始立体图像的宽度，H表示原始立体图像的高度，则1≤x≤W，1≤y≤H。

步骤1.2)：构建的卷积神经网络；

步骤1.3)：将训练集中的原始立体图像的RGB图和深度图作为输入，输入到所构建的卷积神经网络中进行训练，得到原始立体图像对应的显著性检测图，将训练完成得到的显著性检测图构成的集合记为