[发明专利]一种视频显著性检测方法及装置、电子设备和存储介质

说明书

本公开涉及一种视频显著性检测方法及装置、电子设备和存储介质。涉及图像处理领域，其中，一种视频显著性检测方法，包括：获取视频图像的初始空间特征；对所述初始空间特征进行分割得到多个分割特征，分别将至少两个所述分割特征进行融合得到融合特征，分别根据所述融合特征及参与融合的至少一个所述分割特征得到多个校准切片特征图；根据所述初始空间特征及所述多个准切片特征图得到静态显著特征；根据所述静态显著特征完成所述视频图像的显著性检测。本公开实施例可准确体现视频显著性。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种视频显著性检测方法及装置、电子设备和存储介质。

背景技术

视频显著性目标检测(VSOD)目的是将视频帧定位和分割最引人注目、最吸引眼球的物体或区域，同时抑制背景噪声，降低图像内容理解或场景分析的复杂度，实现了模拟人类对物体结构和运动线索的认知。最近的几年中，显著性目标检测迎来了蓬勃发展，并且在实际场景中益到广发应用，这种自动分割技术已被证明有利于视频摘要、视频压缩、基于内容的视频检索、人机交互等多种应用并逐渐成为许多视频和图像任务的预处理步骤。因此，如何设计一个能够学习VSOD的时态特征的合理网络成为要解决的关键问题。

视频显着目标检测的传统方法通常源自背景先验，中心周围对比，特征整合，视觉注意的认知。它们通过不同的方式有效地整合了多种理论计算机制。但是，这种方法在实时性方面不尽人意，资源需求，无法完全定位显着对象。并且由于光学分水岭数量众多计算，时间成本急剧增加。因此，总体性能仍有待提高有限。

近年来，研究人员使用递归神经网络(RNN)从视频中直接提取复杂的时间信息，这在许多视频任务中取得了优异的性能。最近的发展表明，基于RNN网络的视频显著性目标检测算法已经更新了现有算法的性能。这些方法通过使用两种的网络优化特征，通常由空间和时间的子网络组成。例如，“Pyramid Dilated Deeper ConvLSTM for Video SalientObject Detection”分别用ResNet和ConvLSTM构建了空间和时间子模块，从实验结果来看，该结构取得了满意的精度。此外，“Shifting More Attention to Video Salient ObjectDetection”网络在基于PDB的时间子模块中增加了注意力转移机制，进一步提高了网络性能。总体上这种算法的检测效果良好，但是还是存在着改正的空间。理由是这些方法对视觉系统的注意机制的认识还不够完善，只提出在时间维度上增加注意力转移信息，并且图像的多样性以及噪声的干扰，导致只能从初级的特征入手而没有注意图像语义信息等高级特征的重要性。因此，本项目提出了两种新的注意模型，在空间网络中设计了一种新的多尺度空间注意力模块，在时间网络中改进了注意力转移模块，这使得它们具有空间特征增强和时间视觉移位的播能力，并且显式地学习了多尺度的显著性特征。

发明内容

本公开提出了一种视频显著性检测方法及装置、电子设备和存储介质技术方案，解决了现有的视频显著性检测方法中注意力线索单一问题，难以准确体现视频显著性的问题。

根据本公开的一方面，提供了一种视频显著性检测方法，包括：

获取视频图像的初始空间特征；

对所述初始空间特征进行分割得到多个分割特征，分别将至少两个所述分割特征进行融合得到融合特征，分别根据所述融合特征及参与融合的至少一个所述分割特征得到多个校准切片特征图，根据所述初始空间特征及所述多个准切片特征图得到静态显著特征；

根据所述静态显著特征完成所述视频图像的显著性检测。

优选地，所述分别将至少两个所述分割特征进行融合得到融合特征的方法，包括：

分别对所述多个分割特征进行特征优化，得到多个优化分割特征；

分别将至少两个所述多个优化分割特征进行融合，得到多个融合特征。