[发明专利]基于频域先验的视频显著性目标检测方法

权利要求书

1.一种基于频域先验的视频显著性目标检测方法，其特征在于，包括以下步骤：

步骤1、针对当前时刻的视频帧，构建对应的四元数图像，并对四元数图像进行超复数傅里叶变换，得到振幅谱和相位谱，并在频域对四元数图像进行显著性分析，通过将振幅谱置为1，仅将相位谱进行傅里叶逆变换得到频域显著性先验信息；

步骤2、构建基于VGG16的双分支对称全卷积神经网络的静态模块，提取当前视频帧的局部特征并通过双分支的层级整合经反卷积得到静态图像显著性检测结果；具体方法如下：

步骤2-1、以VGG16作为静态模块中对称卷积神经网络的基础架构，移除VGG16中第五个卷积块的池化层以及VGG16中的全连接层，每个卷积层后添加一个批量归一化层BN使得特征数据在同一数据分布中，并且每个卷积层后使用Relu作为激活函数；

步骤2-2、对于静态模块中的反卷积部分，划分为四个反卷积块，前四个反卷积块都由一个1*1卷积层Convlution2d和一个2*2转置卷积层ConvTranspose2d构成，并使用Relu作为激活函数，最后一个反卷积块由一个1*1卷积层和一个3*3卷积层组成；

步骤2-3、用ImageNet预训练的VGG16模型初始化静态模块中的网络权重，对于第一层卷积的权重，由于输入通道不同，用VGG16第一个卷积层权重的平均值进行初始化；

步骤2-4、设置初始学习率lr＝1e-5,此后每迭代50次学习率lr＝lr*0.1,设置损失函数Loss、优化器optimizer使用Adam的随机梯度下降法、迭代次数epoch和batch_size，损失函数如式(16)：

式中，n为图像的像素总数，G_t(x)为当前t时刻视频帧的真值，y_t′(x)为静态视频帧显著性检测结果；

步骤2-5、使用图像显著性检测数据集MSRA10K、DUT-OMRON训练静态模块的双分支对称卷积神经网络，原始图像I_t(x,y)以及其所对应的频域显著性分析结果级联后形成四通道输入作为对称卷积神经网络的左分支，原图的取反-I_t(x,y)作为右输入分支，通过对称卷积神经网络进行视频帧的特征提取，并通过反卷积结构对提取的双分支特征图进行层级整合后通过反卷积和上采样，得到静态图像显著性检测结果；

步骤3、构建基于VGG16的全卷积神经网络的动态模块，联合步骤2中得到的静态图像显著性检测结果，进行动态模块训练并得到视频显著性目标检测结果；其中，建立获取视频帧的最终视频显著性结果的动态模块，具体包括以下步骤：

步骤3-1、以VGG16作为全卷积神经网络的基础架构，移除VGG16中第五个卷积块的池化层以及VGG16中的全连接层，每个卷积层后使用Relu作为激活函数；

步骤3-2、对于动态模块中的反卷积部分，划分为四个反卷积块，前四个反卷积块都由两个3*3卷积层和一个Upsampling层构成，卷积层后使用Sigmoid作为激活函数；

步骤3-3、用ImageNet预训练的VGG16初始化动态模块中的网络权重，对于第一层不同通道的使用VGG16第一层的权重的平均值进行初始化；

步骤3-4、设置初始学习率lr＝1e-5、损失函数Loss为MSE、优化器Adam、迭代次数和batch_size，损失函数如式(17)：

式中，n为图像的像素总数，G_t(x)为当前t时刻视频帧的真值，y_t″(x)为动态的视频显著性检测结果；

步骤3-5、将视频显著性检测数据集DAVSOD-train、SegtrackV2、DAVIS 2016作为动态模块的训练数据集，首先，将同一类别的视频序列中的连续九帧图像在空间上进行拼接，经过四元数傅里叶变换和反变换得到频域显著性先验信息，通过静态模块得到静态图像显著性结果，随后将当前视频帧、频域显著性先验以及静态图像显著性图级联后形成5通道作为动态模块的输入；

步骤4、应用当前已标注的、覆盖多种类的图像和视频显著性检测数据集训练静态模块和动态模块。

2.根据权利要求1所述的基于频域先验的视频显著性目标检测方法，其特征在于，根据步骤1中的针对当前t时刻的视频帧I_t(x,y)，构建它所对应的四元数图像q_t(u,v)，并对四元数图像进行超复数傅里叶变换F_(qt)和反变换F′_(qt)，得到频域显著性先验信息sM_(t)，具体步骤如下：

步骤1-1、对当前t时刻的视频帧I_t(x,y)，x,y表示图像在空间域的像素位置，对图像的r_(t)、g_(t)、b_(t)三个颜色通道，经式(1)～(4)的计算，得到四个宽调谐颜色通道：红色R_(t)、绿色G_(t)、蓝色B_(t)、黄色Y_(t)；

R_(t)＝r_(t)-(g_(t)+b_(t))/2 (1)

G_(t)＝g_(t)-(r_(t)+b_(t))/2 (2)

B_(t)＝b_(t)-(r_(t)+g_(t))/2 (3)

步骤1-2、根据步骤1-1得到的四个颜色通道以及视觉系统中双色对立原理，计算四元数特征：双颜色特征RG_(t)和BY_(t)、强度特征I_(t)、运动特征M_(t)，如式(5)～(8)所示：

RG_(t)＝R_(t)-G_(t) (5)

BY_(t)＝B_(t)-Y_(t) (6)

I_(t)＝r_(t)+g_(t)+b_(t) (7)

M_(t)＝|I_(t)-I_(t-τ)| (8)

式中，参数τ是一个延迟系数，代表与t时刻视频帧相邻τ帧的视频帧；

步骤1-3、根据四元数特征得到当前视频帧I_t(x,y)的四元数图像q_t(x,y)，如式(9)：

q_t(x,y)＝M_(t)+RG_(t)μ₁+BY_(t)μ₂+I_(t)μ₃ (9)

将q_t(x,y)用另一种表达式表示如下：

q_t(x,y)＝f₁(t)+f₂(t)μ₂

f₁(t)＝M_(t)+RG_(t)μ₁

f₂(t)＝BY_(t)+I_(t)μ₁

式中，μ_i为超复数的虚部单位,且满足i∈{1,2,3},μ₁⊥μ₂,μ₂⊥μ₃,μ₁⊥μ₃,μ₃＝μ₁μ₂；

步骤1-4、将四元数图像q_t(x,y)＝f₁(t)+f₂(t)μ₂进行超复数傅里叶变换，超复数傅里叶变换后的视频帧表示如式(10)所示，并得到变换后四元数图像对应的振幅谱和相位谱，如式(10)～(11)：

Q_t(u,v)＝F₁(u,v)+F₂(u,v)μ₂ (10)

式中，M,N表示视频帧宽度和高度上的像素数目,u,v为图像在频域中像素的位置，Q_t(u,v)表示四元数图像经过超复数傅里叶变换后的结果，j∈{1,2},f_j(x,y)和上述的f_j(t)一致；

步骤1-5、将图像I_t(x,y)从时域变换到频域Q_t(u,v)，其极坐标表示为Q_t＝‖Q_t‖e^μΦ(t) (12)

式中，Φ(t)是Q_t的相位谱，μ是纯四元数的单元,‖Q_t‖是Q_t的振幅谱，将‖Q_t‖＝1，然后通过式(13)将图像从频域反变换到时域进行超复数傅里叶反变换；

步骤1-6、通过超复数傅里叶反变换以后的四元数图像表示为q_t′＝a_(t)+b_(t)μ₁+c_(t)μ₂+d_(t)μ₃,其中a_(t)为超复数的实数部分，b_(t)、c_(t)、d_(t)为虚数；

步骤1-7、通过上述步骤，得到当前视频帧的频域显著性分析结果

sM_(t)＝g(x,y)*‖q_t′‖² (14)

式中，g(x,y)是一个用来抑制噪声的2D高斯滤波器，σ为代表数据离散程度的标准差。