[发明专利]基于频域先验的视频显著性目标检测方法

说明书

本发明公开了一种基于频域先验的视频显著性目标检测方法，包括以下步骤：根据当前帧的三颜色通道，得到四元数图像，并将该四元数图像从空间域经过超复数傅里叶变换到频率域得到振幅谱和相位谱，通过将振幅谱置为1，进行傅里叶反变换得到频域显著性先验信息；建立对称卷积神经网络的静态模块，得到当前视频帧的空间显著性检测结果；建立基于全卷积神经网络的动态模块，得到频域先验信息，并联合空间显著性结果和当前帧通过动态模块进行空时融合和特征提取，经反卷积得到最终的视频显著性检测结果。本发明的视频显著性目标检测摒弃复杂的光流计算，进而以频域先验信息将时序特性和运动信息考虑进来代替光流，提高了计算效率，减少了计算代价。

技术领域

本发明属于视频显著性目标检测技术，特别是一种基于频域先验的视频显著性目标检测方法。

背景技术

显著性目标检测是计算机视觉中的一个研究热点，按照研究对象的不同可以分为图像显著性目标检测、视频显著性目标检测。本专利主要针对视频显著性目标检测方法。视频显著性目标检测的主要目的是获取动态场景中连续运动的、能引起人眼关注的显著性目标。它作为一项预处理技术被广泛应用于如目标检测、行人识别、视频编码与压缩、视频增强、智能移动机器人定位等计算机视觉和机器视觉领域。

目前，常见的视频显著性目标检测算法是分别得到基于视频帧的底层特征如颜色、纹理、形状、深度等获取的空间特征和通过光流法计算得到的具有帧间关联的时间特征，然后通过特定的空时融合方法将空间和时间特征进行融合，从而得到视频的显著性结果。然而，这种包含光流计算的方法具有很大的计算代价，在实时性要求高的任务中无法使用。

发明内容

本发明的目的在于提供一种基于频域先验的视频显著性目标检测方法。

实现本发明目的的技术解决方案为：一种基于频域先验的视频显著性目标检测方法，包括以下步骤：

步骤1、针对当前时刻的视频帧，构建对应的四元数图像，并对四元数图像进行超复数傅里叶变换，得到振幅谱和相位谱，并在频域对四元数图像进行显著性分析，通过将振幅谱置为1，仅将相位谱进行傅里叶逆变换得到频域显著性先验信息；

步骤2、构建基于VGG16的双分支对称全卷积神经网络的静态模块，提取当前视频帧的局部特征并通过双分支的层级整合经反卷积得到静态图像显著性检测结果；

步骤3、构建基于VGG16的全卷积神经网络的动态模块，联合步骤2中得到的静态图像显著性检测结果，进行动态模块训练并得到视频显著性目标检测结果；

步骤4、应用当前已标注的、覆盖多种类的图像和视频显著性检测数据集训练静态模块和动态模块。

本发明与现有技术相比，其显著优点为：(1)结合图像在频率域的信息：图像在空间域所提供的可供学习的特征是有限的，此前有研究表明，图像在频率域上的相位谱体现了图像的位置和形状信息，可以有效的提取图像的特征，因此本发明首先在图像频域中进行视觉显著性分析，频域显著性先验知识的有效性可从表1中静态图像显著性检测算法在不同数据集上的评测指标上得到验证；(2)减少了视频显著性目标检测的计算代价：现有的视频显著性检测方法中都是使用光流计算帧间的像素位移的变化来得到运动信息，而本发明中则把空间相邻的连续帧进行拼接并通过四元数傅里叶变换进行频域显著性分析，既考虑了时序特性和运动信息，也减少了因光流计算带来的很大的计算代价。

下面结合附图和具体实施方式对本发明作进一步的详细描述。

附图说明

图1为本发明的基于频域先验的视频显著性目标检测方法流程图。

图2为静态模块的双分支对称卷积神经网络示意图。

图3为动态模块的全卷积神经网络示意图。

图4为视频显著性目标检测结果示例图。

具体实施方式