[发明专利]立体图像的视觉显著性检测方法、装置、设备及存储介质

说明书

本发明适用计算机技术领域，提供了一种立体图像的视觉显著性检测方法、装置、设备及存储介质，该方法包括：当接收到立体图像的视觉显著性检测请求时，首先获取立体图像的颜色信息和深度信息，然后分别对颜色信息、深度信息以及颜色信息和深度信息进行显著性预测，得到第一显著性预测、第二显著性预测以及第三显著性预测，之后将得到的第一显著性预测、第二显著性预测以及第三显著性预测与预设的多个中心偏置先验进行级联，得到多通道级联数据，最后通过预设的通道间融合网络对多通道级联数据进行多通道信息空间差异性融合，以得到立体图像的显著性图，从而提高了显著性检测的准确性。

技术领域

本发明属于计算机技术领域，尤其涉及一种立体图像的视觉显著性检测方法、装置、设备及存储介质。

背景技术

近来，由于深度学习模型例如卷积神经网络已经被广泛应用于视觉显著性检测模型，并且已经显著提升了视觉显著性模型的性能。因此，大量的基于深度学习的2D视觉显著性模型也被提出。Vig等人是首先尝试构建基于卷积神经网络的视觉显著性检测模型的先驱，该模型命名为深度网络组合(eDN)。之后，Kummerer等人提出了一个显著性模型，该模型采用一个现有的神经网络模型提取深度学习特征，然后再使用这些特征计算图像的视觉显著性。Srinivas等人设计一个显著性模型，由于完全卷积网络的空间不变性，该模型采用一个新奇的基于位置的卷积网络去模型化位置依赖的模式。Huang等人提出一个基于深度神经网络的显著性方法用来缩小模型预测结果和人眼注视行为之间的差距，该模型通过采用不同尺度图像信息和基于显著性评估指标的目标函数来微调深度神经网络模型。Marcella等人进一步为自然图像提出了一个新奇的显著性注意力模型。然而，这些方法都是基于2D多媒体应用提出的。

不同于传统的2D显著性模型，只有少部分显著性模型采用深度图预测一个3D自然场景中人眼所关注的位置，并且通过使用一个线性加和方法将所得到的颜色和深度特征图进行融合之后，生成一个最终的3D显著性图。还有一些3D图像显著性计算模型通过扩展一些传统的2D视觉显著性模型被提出来。比如，Neil等人通过将现有的注意力模型从2D扩展到双目域提出了一个立体注意力框架。Zhang等人在立体视觉注意力模型中使用多个感知刺激。为了生成最终的3D图像的显著性，一些模型中用深度信息去权重化2D显著性图。Lang等人在2D和3D图像上进行眼球追踪的实验结果用于进行深度显著性分析，其中通过扩展以前的2D显著性检测模型来计算3D显著性图。最近，Fang等人提出将颜色、亮度、纹理和深度等信息结合在一起去生成3D图像的显著性图。

尽管考虑深度特征已经提升了立体图像的显著性检测模型的性能，然而，现有的这些显著性检测模型在立体图像的内容表征方面仍然存在一些具有挑战性的问题。传统的手动提取图像特征的方法很难提取高层次的图像语义信息，并且传统的立体图像显著性融合方法也无法检测到立体图像的颜色和深度信息之间的空间相关性。另外，线性融合的方法仅仅只是通过一个简单的加和方法来融合提取的多个特征图，并没有考虑到空间的差异性。综上所述，现有的立体图像显著性检测模型缺乏多样化的图像内容表征以及没有考虑颜色和深度等特征之间的空间差异。

发明内容

本发明的目的在于提供一种立体图像的视觉显著性检测方法、装置、设备及存储介质，旨在解决由于现有立体图像视觉显著性检测方法缺乏多样化的图像内容表征、且忽略了颜色特征和深度特征之间的空间差异，导致显著性检测不准确的问题。

一方面，本发明提供了一种立体图像的视觉显著性检测方法，所述方法包括下述步骤：

当接收到立体图像的视觉显著性检测请求时，获取所述立体图像的颜色信息和深度信息；

通过预设的颜色显著性预测网络对所述颜色信息进行显著性预测，以得到所述立体图像的第一显著性预测，通过预设的深度显著性预测网络对所述深度信息进行显著性预测，以得到所述立体图像的第二显著性预测，并通过预设的联合显著性预测网络对所述颜色信息和所述深度信息进行显著性预测，以得到所述立体图像的第三显著性预测；