[发明专利]一种动态场景下显著性目标检测方法

权利要求书

1.一种动态场景下显著性目标检测方法，其特征在于，包括以下步骤：

S1：在动态场景中进行运动目标检测，得到动态场景中所有的运动目标区域的前景图像集合；

S2：在动态场景中提取图像特征并进行特征级融合，得到图像融合特征向量，基于贝叶斯推理进行视觉注视点检测；

S3：结合前景图像集合和融合后得到的视觉注视点对检测到的运动目标区域的显著程度进行度量并生成基于运动目标的动态显著图；

所述的步骤S1包括以下步骤：

S11：构造运动模型，首先给出定义，I_j∈IR^m表示动态场景即视频中的第j帧，I_j是含有m个元素的列向量，每一个元素均与图像中的像素点一一对应；D＝[I₁,...,I_j,....,I_n]∈IR^m×n表示帧序列的表征矩阵，n代表帧的个数；转换矩阵表示为τ＝{τ₁,...,τ_j,....,τ_n}；B∈IR^m×n表示图像的背景矩阵，尺度与D相同；

S∈{0,1}^m×n表示图像的前景矩阵，是一个二值图像，

用P_s(X)表示X到S的正交投影：

表示互补投影，即：

S12：构造能量函数，基于拉普拉斯矩阵的约束方法，针对视频中的每一帧图像的前景矩阵增加约束项，构造如下目标能量函数：

其中，|| ||₀表示l₀范数，|| ||_*表示核范数，||||_F表示Frobenius范数；

L_Sⁱ＝E_i-W_i,； (4)

其中，E_i是对角矩阵，F_i＝reshape(S_i), (6)

W_i是关系矩阵，

F_i表示第i帧图像的矩形结构，F_i＝[v₁,...,v_m,....,v_Q]，Q是图像中像素点个数；C_m表示像素点m的邻域；L_Sⁱ表示视频中第i帧图像的前景矩阵所对应的拉普拉斯矩阵；

S13：模型求解，目标能量函数是非凸的且包含三个变量τ、B和S，采用交替算法分别对三个变量进行优化，

在进入循环之前，首先初始化以下为目标能量函数的迭代求解过程，

(1)首先，固定此时，目标能量函数为如下形式：

在每次迭代中，采用一个小的增量Δτ更新τ，线性化为其中表示雅可比矩阵因此，有下列形式：

然后采用加权最小二乘法求解

(2)固定此时，目标能量函数转化为如下形式：

然后采用SOFT-IMPUTE算法求解

(3)固定此时，目标能量函数转化为如下形式：

然后采用图割模型法求解

经过三个变量优化过程的交替执行，即可获得前景矩阵S＝[S₁,...,S_i,...,S_n]，n代表视频的总帧数，从而得到前景图像集合F＝{F₁,...,F_i,...,F_n}；

所述的步骤S3包括以下步骤：

S31：基于运动目标检测得到的前景图像集合F＝{F₁,...,F_i,...,F_n}，则对于每一帧图像均有可能存在多个目标区域F_i＝[F_i¹,...,F_i^r,...F_i^Q]，其中Q表示目标的个数，F_i^r表示第i帧前景图像的第r个目标对应的二值图像；

对于视觉注视点检测得到显著图序列重新定义为：S＝{S₁,...,S_i,...,S_n}，此处，S_i表示第i帧图像的视觉注视点显著图，

结合上述定义，具体的动态显著图的融合公式如下：

其中，SD_i^r表示第r个目标图像对应的显著图，w和h表示图像的宽和高；

进而可得到最终的动态显著图：

其中，Q表示目标个数，SD＝{SD₁,...,SD_i,...,SD_n}表示动态显著图序列，n表示视频总帧数。

2.根据权利要求1所述的一种动态场景下显著性目标检测方法，其特征在于，所述的步骤S2包括以下步骤，

S21：特征提取和融合，首先，采用高斯滤波对原始图像进行采样，获取不同尺度的图像，然后在Lab颜色空间，提取所获取图像的颜色特征向量，对于每个像素点表示为：v＝[L,a,b]；原始图像中的像素点i对应的不同尺度上的特征表示为其中c表示尺度，表示在所有尺度上的特征，k代表尺度总层数；所获取图像的颜色特征表示为：I＝[I₁,...,I_i,...,I_N]，N代表像素点的个数；采用主成分分析算法对所获取图像的特征向量进行降维处理，降维后图像的颜色特征向量为I^*＝[I₁^*,...,I_i^*,...,I_N^*]；

以颜色特征向量为基础，采用局部操作核描述图像的方向特征，则针对不同尺度上像素点i的对应特征为：ID_i^c＝[IDL_i^c,IDa_i^c,IDb_i^c]，c表示图像所在尺度，因此，基于多个尺度的图像像素点i的方向特征表示为：多个尺度下图像的方向特征表示为：ID＝[ID₁,...,ID_i,...,ID_N]；

对多尺度图像的颜色特征向量进行降维处理，降维后图像的颜色特征向量表示为ID^*＝[ID₁^*,...,ID_i^*,...,ID_N^*]；

组合图像的颜色和方向特征向量，最终得到图像融合特征向量，对于像素点i，其融合特征为整个图像为F＝[F₁,...,F_i,....,F_N]；

S22：基于贝叶斯推理的视觉注视点显著图提取，构造显著性的后验概率表示为：Pr(y_i＝1|F_i,L_i)，L_i表示像素的位置信息，y_i＝1表示此点是显著的，根据贝叶斯准则有如下推导：

Pr(y_i＝1|L_i)在对于所有像素点的值一样，忽略，即有：

公式13中的第一项采用核密度估计计算公式如下：表示图像中拥有稀少特征的像素点为显著点，越少越显著，

N代表图像像素总个数，κ表示核密度估计采用高斯核函数，表示如下：

公式13中的第二项P(F_i|y_i＝1)，采用核密度估计的方法计算：

其中核密度估计采用余弦相似度函数：

公式13重写为：

S_i即为像素点i处的显著值，显著图表示为：S＝[S₁,...,S_i,....S_M]，M为像素点个数。