[发明专利]一种立体图像显著性的检测方法、装置、设备及存储介质

说明书

本发明适用图像处理技术领域，提供了一种立体图像显著性的检测方法、装置、设备及存储介质，该方法包括：当接收到立体图像显著性检测的请求时，首先，通过超像素图像分割算法分别对立体图像的颜色图像和深度图像进行分割，然后，通过多尺度区域级别的显著性预测网络对分割后得到的所有像素区域进行特征提取，得到所有像素区域对应的显著性值，根据每个显著性值对每个显著性值对应的像素区域进行处理，得到颜色图像的颜色显著性图和深度图像的深度显著性图，最后，通过空间融合网络将颜色显著性图和深度显著性图进行融合，生成立体图像的显著性图，从而降低了提取立体图像显著性特征的误差，提高了立体图像的显著性检测精确度。

技术领域

本发明属于图像处理技术领域，尤其涉及一种立体图像显著性的检测方法、装置、设备及存储介质。

背景技术

当代计算机和多媒体技术的发展，尤其是互联网技术支持的移动设备的发展，对人类的生活和社会产生了巨大的影响，驱动其发展的力量是新兴的三维成像技术。与传统的2D视觉体验相比，3D应用为用户提供深度感知和沉浸式的观看体验。尽管3D产业发展迅猛，但仍然存在一些具有挑战性的问题，例如，3D图像的视觉显著性检测，其主要为了确定3D图像中的独特区域。3D图像视觉显著性除了可以应用在视频压缩上以外，其在三维物体检索、三维目标检测以及立体图像和视频质量评估上起到重要作用。

目前，现有的传统视觉显著性检测模型主要包含一些传统的检测方法。例如，Wang等人提出一个3D视觉显著性检测模型，其中采用了底层2D视觉特征定位显著性区域，并将深度信息作为一个视觉维度与2D视觉特征相整合。Fang等人基于底层特征(例如，颜色、亮度、纹理和深度等)间的对比特征设计了一个立体图像显著性框架。然而，这些传统的显著性检测方法通过手动提取图像特征，难以在显著区域及其邻近区域之间实现高层次的区分，从而使得视觉显著性检测模型的性能受限。

由于卷积神经网络(CNN)的结构与人类视觉系统的结构很相似，因此已经被广泛应用于视觉显著性检测模型，并且已经显著提升了视觉显著性模型的性能，由此，大量的基于深度学习的2D视觉显著性模型也被提出。例如，Vig等人是首先尝试构建基于卷积神经网络的视觉显著性检测模型的先驱，该模型命名为深度网络组合(EDN)。之后，Kummerer等人提出了一个显著性模型，该模型采用一个现有的神经网络提取深度学习特征，然后再使用这些特征计算图像的视觉显著性。Srinivas等人设计一个显著性模型，由于完全卷积网络的空间不变性，该模型采用基于位置的卷积网络去模型化位置依赖的模式。Borji等人将图像底层特征和一些高层的识别特征(人脸、汽车、天空等)相结合去学习一个视觉显著性模型。然而，这些显著性模型大多都是基于现有的深度神经网络(例如，Alex Net、VGG16和Google Net等)，众所周知，这些网络是针对图像分类任务训练的结果，而不是完全适用于图像视觉显著性预测任务。

与传统的2D显著性模型不同的是，在3D图像显著性任务中考虑图像深度信息变得尤为重要。目前现有的一些3D图像显著性计算模型通过扩展一些传统的2D视觉显著性模型被提出来。例如，Neil等人通过将现有的注意力模型从2D扩展到双目域提出了一个立体注意力框架。Zhang等人在立体视觉注意力模型中使用多个感知刺激。为了生成最终的3D图像的显著性，一些模型中用深度信息去权重化2D显著性图。Lang等人在2D和3D图像上进行眼球追踪的实验结果用于进行深度显著性分析，其中通过扩展以前的2D显著性检测模型来计算3D显著性图。虽然考虑深度特征已经提升了立体图像检测模型的性能，但在立体图像的内容表征方面仍然存在一些具有挑战性的问题，例如，手动提取图像特征的方法很难提取高层次的图像语义信息，且立体图像检测模型的网络结构仍是基于图像分类任务的网络，并不是完全针对图像显著性任务的网络结构。因此，现有的立体图像显著性检测模型缺乏多样化的图像内容表征以及没有完全针对图像视觉显著性任务来设计网络。

发明内容

本发明的目的在于提供一种立体图像显著性的检测方法、装置、设备及存储介质，旨在解决现有立体图像显著性检测模型性能差，导致提取的立体图像显著性特征误差大、立体图像显著性不突出的问题。