[发明专利]一种基于深度融合的视频显著性检测方法

说明书

本发明公开了一种基于深度融合的视频显著性检测方法，本发明方法包括深度特征提取网络、深度特征融合网络和显著性预测网络。模型的输入是当前帧图像和光流图像。首先，深度特征提取网络提取多级深度特征，产生深度空间特征和深度时间特征。然后，采用注意力模块分别强化学习两个分支中每级产生的深度特征，深度特征融合网络分级方式融合多级深度特征。将融合得到的深度特征与边界信息相结合并显著性预测网络进行预测，产生当前帧的最终显著性图。本发明方法提供的网络模型可以充分有效地利用空间信息和时间信息来实现对视频中显著性目标的预测。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于深度融合的视频显著性检测方法。

背景技术

显著性检测是计算机视觉领域的一个研究热点，在相关研究方向中有着广泛的应用，如行人重识别、基于内容的视频压缩、图像质量评估以及目标检测和分割等，它已引起越来越多的关注。根据输入类型的不同，显著性检测模型可以分为两类，分别是图像显著性检测模型和视频显著性检测模型。到目前为止，已有了很多专门致力于图像显著性检测的工作，但由于缺乏大规模的逐像素注释的视频数据集，以及挖掘视频中帧与帧之间关系的难度，导致针对视频显著性检测模型的研究得到了相对较少的关注。

视频显著性检测和图像显著性检测之间存在的差异是显而易见的。具体而言，对于视频显著性检测来说，必须同时考虑视频中的空间信息和时间信息，而在图像显著性检测中则只需要考虑空间信息即可。

几十年来，图像显著性检测已经得到了充分的研究。近年来，伴随着机器学习技术的发展，利用先进的机器学习算法构建了一些显著性模型，例如采用条件随机场来集成多个特征以生成显著性图等。最近，随着深度卷积神经网络的蓬勃应用，已经将其引入到图像显著性检测中。此外，广泛使用的注意力机制也被许多图像显著性检测模型所采用，进一步提高了图像显著性检测的性能。与此同时，视频显著性检测也得到了长足的发展，通常基于中心环绕方案、信息理论、控制理论、机器学习和信息融合等。在信息论的基础上，自信息和增量编码长度用于衡量每个视频帧的显著性。同时，传统的机器学习算法也已经应用于视频显著性检测，例如稀疏表示、支持向量机等。还有一些方法在分别生成空间显著性图和时间显著性图的基础上采用融合方案将这两种图组合成最终显著性图。同样，与图像显著性检测类似，深度卷积神经网络也用于视频显著性检测。值得注意的是，大多数已有模型只是将深度卷积神经网络作为一种特征提取器，因此它们不是端到端的学习框架。

显然，对视频显著性检测的研究工作已经取得了一定的成果，但是在处理诸如快速运动、动态背景、非线性形变和遮挡等复杂视频时，现有模型的性能仍会严重下降，远远达不到理想效果。幸运的是，伴随着深度学习技术的不断发展，视频显著性检测模型的性能也得到了显著提升。遗憾的是，这些模型仍不能充分利用视频中丰富的空间信息和时间信息，导致在处理复杂视频时，这些模型的性能也会在一定程度上降低。同时，一些基于深度融合的工作试图以有效的方式融合来自不同网络层的特征，充分利用诸如时间线索和空间线索等不同的信息，同样引起了许多关注。

发明内容

针对现有技术存在的不足，本发明提供了一种基于深度融合的视频显著性检测方法。

本发明方法包括以下步骤：

步骤(1).深度特征的提取，具体方法如下：

首先构建深度特征提取网络，所述的深度特征提取网络由对称的空间特征提取分支和时间特征提取分支组成；所述的空间特征提取分支和所述的时间特征提取分支基于VGG-16模型构建，所述空间特征提取分支和所述的时间特征提取分支均包括5个卷积块(包含有13个卷积层)，卷积核大小设置为3×3，步幅大小为1，以及4个最大池化层，池化大小设置为2×2，步幅大小为2。不同分支在卷积层中具有不同的权重参数。