[发明专利]一种基于深度融合的视频显著性检测方法

权利要求书

1.一种基于深度融合的视频显著性检测方法，其特征在于包括以下步骤：

步骤(1).深度特征的提取，具体方法如下：

首先构建深度特征提取网络，所述的深度特征提取网络由对称的空间特征提取分支和时间特征提取分支组成；所述的空间特征提取分支和所述的时间特征提取分支基于VGG-16模型构建，不同分支在卷积层中具有不同的权重参数；然后进行深度特征提取网络的输入，所述的空间特征提取分支的输入为当前帧F_t，所述的时间特征提取分支的输入为对应当前帧F_t的光流图像OP_t，所述的空间特征提取分支提取深度空间特征{DSF_tⁱ,i＝1,2,3,4,5}，所述的时间特征提取分支提取深度时间特征{DTF_tⁱ,i＝1,2,3,4,5}；

步骤(2).深度特征的融合，具体方法如下：

深度特征融合网络采用了分级融合网络的方式，首先采用注意力模块来对深度特征进行筛选，获得空间特征提取分支和时间特征提取分支中每一级的深度特征的显著性区域；

对于每个深度特征DSF_tⁱ或DTF_tⁱ，将其缩写为DF_tⁱ，则注意力模块产生的深度特征图AF_tⁱ的定义为

其中，*表示卷积运算，W_s是卷积滤波器，b_s表示偏差参数；

通过SoftMax操作获得每个深度特征的注意力权重：

其中，(x,y)表示每个深度特征的空间坐标，(W,H)表示每个深度特征图AF_tⁱ的纵横比，

然后根据注意力权重选择有效的多级深度特征

其中，*表示在通道维度上进行Hadamard矩阵乘积运算；为注意力模块生成的多级注意力深度特征，所述的多级注意力深度特征包括注意力深度空间特征和注意力深度时间特征

根据多级注意力深度特征，对分级融合网络定义：

其中，H表示融合函数，H由1×1卷积层和反卷积层组成，[·]表示通道维度上的级联操作；表示空间特征提取分支中的第i个卷积块的注意力深度空间特征，表示时间特征提取分支中的第i个卷积块的注意力深度时间特征；

步骤(3).显著性预测，具体方法如下：

通过1×1卷积层引入空间特征提取分支和时间特征提取分支中来自浅层conv1-2的边界信息；将两个卷积层和一个SoftMax层连接，构成显著性预测网络；S_t＝Fun([IF_tⁱ,BSF_t,BTF_t])

其中，S_t表示显著性预测图，Fun表示卷积层表征的函数，BSF_t表示空间特征提取分支的边界信息，BTF_t表示时间特征提取分支的边界信息；

步骤(4).深度特征提取网络、深度特征融合网络和显著性预测网络以端到端的方式联合训练，具体方法如下：

使用SGD优化算法对模型进行训练，采用VGG-16模型将空间特征提取分支和时间特征提取分支的权重参数初始化，采用‘msra’方法将融合网络深度特征融合网络初始化；采用镜面反射和旋转技术对训练数据集进行数据的增广；

对于具有N个训练样本的数据集其中表示具有N_p个像素点的当前帧，表示具有N_p个像素点的光流图像和表示具有N_p个像素点的二进制真值图；表示显著目标像素，表示背景像素，删除下标n且每一帧的{F,OP}相互独立，则损失函数为：

其中，W表示卷积核的权重，b表示卷积层的偏置，Y₊表示显著目标的标签，Y_{_}表示背景的标签；β表示显著目标像素在真值图G中所占的比率，β＝|Y₊|/|Y_-|；P(Y^j＝1|F,OP；W,b)表示像素属于显著目标的概率。