[发明专利]基于学习的视频中显著物体序列自动检测方法

摘要

本发明公开了一种基于学习的视频中显著物体序列自动检测方法，该方法首先计算静态显著性特征，计算动态显著性特征，并与静态显著性特征自适应组合起来构成显著性特征约束。计算每帧图像中的空间连续性。计算相邻帧图像中显著物体的时间连续性。这里计算所有可能的显著物体之间的相似度。利用前一次计算获得显著物体序列计算全局主题模型，并计算相应的能量贡献。利用动态规划算法进行全局最优求解，从而获得全局最优的显著物体序列。当未满足收敛条件继续迭代求解。否则，输出矩形框序列作为最优的显著物体序列。本发明能有效解决静态与动态显著性特征的选取与多种约束条件的优化集成，以及目标序列检测的高效计算。

主权项

1、基于学习的视频中显著物体序列自动检测方法，其特征在于，包括以下步骤：1)计算静态显著性特征：局部、区域和全局显著性特征计算来自每一帧图像的静态线索；2)计算动态显著性特征，并与静态显著性特征自适应组合起来构成显著性特征约束；计算动态显著性特征方法如下：采用对每个像素点在多尺度上利用Simoncelli滤波器来计算运动场M，对运动场进行加权，加权权值计算如下：W(x，M)＝exp(-εc‖V(x，M)‖2)，其中εc＝0.2，V(x，M)是来自像素点x周围5×5的窗口内运动场的标准方差；对于加权的运动场，扩展(Tie，IEEE CVPR’07)中的局部、区域全局性显著性特征到加权运动场中来计算运动场显著性特征：加权多尺度对比度：$f_{M_c}(x,M)={\Sigma }_{l=1}^L{\Sigma }_{x^{\prime }\in N\left(x\right)}{W}_x^l{W}_{x^{\prime }}^l{\left|\right|M^l\left(x\right)-M^l\left(x^{\prime }\right)\left|\right|}^2,加权中间-周围直方图：$ f_{M_h}(x,M)\propto {\Sigma }_{\left\{x^{\prime }\right|x\in R_M^{*}\left(x^{\prime }\right)\}}{w}_{{\mathrm{xx}}^{\prime }}{W}_{x^{\prime }}{\chi }^2(R_M^{*}\left(x^{\prime }\right),R_{M_s}^{*}\left(x^{\prime }\right)),加权运动场空间分布$ f_{M_s}(x,M)\propto {\Sigma }_m{W}_{x}p\left(m\right|M_x)(1-V\left(m\right)),其中Wx为运动场的权重，M是运动场向量，N(x)代表x周围一定区域内的像素集，L是总的层数，l代表当前层数，Ml是金字塔中第l层的二维运动场，Wx\; l是像素点x的权重，RM\; *是以x\prime 为中心且包括x的矩形框内的统计直方图，是对应的周围矩形框内的统计直方图，wxx\prime 是空间的距离上的权重，Wx\prime \; 表明了像素点x\prime 的权重，\chi 2表示直方图间的距离，V(m)为每个高斯元的空间分布方差，m代表高斯元序号。使用同样的参数可以获得最终组合的加权运动场显著性特征：$ F_M\left(x\right)={\Sigma }_k{\lambda }_k{f}_{M_k}(x,M)运动显著性在时间维度上的自适应平滑，采用前后两帧运动显著特征的自适应组合方式：$ F_{\mathrm{Mt}}\left(x\right)=\frac{S_t}{S_t+S_{t-1}}{F}_{\mathrm{Mt}}\left(x\right)+\frac{S_{t-1}}{S_t+S_{t-1}}{F}_{\mathrm{Mt}-1}\left(x\right),这里St定义为权重，计算如下：$ S_t=\frac{1-\exp (-{\beta }_s{D}_{F_M})}{1+\exp (-{\beta }_s{D}_{F_M})},其中\beta s＝0.1，定义了两个5\times 5的窗口区域里显著性的最大差，定义如下：$ D_{F_M}{=\max }_x{\Sigma }_{x^{\prime }\in N\left(x\right)}\left|\right|F_{M_t}\left(x^{\prime }\right)\left|\right|-\mathrm{mi}{n}_x{\Sigma }_{x^{\prime }\in N\left(x\right)}\left|\right|F_{M_t}\left(x^{\prime }\right)\left|\right|,其中N(x)表明5\times 5的窗口邻域；将自适应平滑后的动态显著性和静态显著性自适应组合起来构成最终的显著性约束：$ F_t\left(x\right)=F_{\mathrm{St}}+\overline{S_t}\times F_{\mathrm{Mt}}\left(x\right),其中St为平滑的运动场显著性上重新计算的运动显著的权重，从定义中可以看到St\in [0，1]；3)计算每帧图像中的空间连续性，具体方法如下：显著物体被表示为一个矩形框，空间连续性被定义为刻画矩形框边界与真实的图像边缘之间的吻合程度，即$ S_{C_t}(A_t,I_t)={\lambda }_S{\Sigma }_{x,x^{\prime }}\delta (a_{x^{\prime }}\ne a_x)D_{E_t}(x,I_t),这里$ D_{E_t}(x,I_t)\in \left[\mathrm{0,1}\right]表示像素点x到图像边缘的归一化距离，$ {\lambda }_s=\frac{0.1\times W\times H}{\left|L_t\right|},其中|Lt|为矩形框上像素点的个数，W和H为图像的宽度和高度，Sobel算子用来计算图像的边界并自适应的选择门限值进行二值化可以获得图像的边缘信息；4)计算相邻帧图像中显著物体的时间连续性，时间连续性数学定义如下：$ T_{C_t}(A_{t,t+1},I_{t,t+1})={\beta }_{1}S(A_t,A_{t+1})+{\beta }_2{\chi }^2(A_t,A_{t+1}),其中$ S(A_t,A_{t+1}){=\Sigma }_{\{a_{x_t},a_{x_t+1},\}}\left|\right|a_{x_t}-a_{x_{t+1}},\left|\right|定义了相邻两帧图像中显著物体的形状相似度，而\chi 2(At，At+1)定义了相邻两帧图像中显著物体的表面模式之间的相似度，这里为颜色直方图的\chi 2距离，$ {\beta }_1=\frac{0.5\times W\times H}{W+H},\beta 2＝0.01为权值以保持与其它能量项的平衡；5)利用前一次计算获得显著物体序列计算全局主题模型，并计算相应的能量贡献，从第二次迭代开始；利用前次检测结果在整个序列里比较保守的收集显著物体和背景的样本策略，然后利用这些样本构造出显著物体的颜色直方图HF(b)和背景的颜色直方图HB(b)，这里b表示直方图的位阶，然后对每帧图像的每一个像素点计算一个似然，全局主题模型在能量函数中的贡献计算如下：$ G_t\left(A_t\right)={\Sigma }_{x\in A_t}\frac{H_B\left(b_x\right)}{H_F\left(b_x\right)+H_B\left(b_x\right)}+{\Sigma }_{x\notin A_t}\frac{H_F\left(b_x\right)}{H_F\left(b_x\right)+H_B\left(b_x\right)},其中bx为像素点x的颜色直方图值；6)利用动态规划算法进行全局最优求解，从而获得全局最优的显著物体序列；视频中显著物体序列检测的数学建模如下：视频可以表示为图像序列I1\dots T，其中T为总帧数，显著物体序列A1\dots T\in \{0，1\}为二值模板图序列，标明每个像素点是否为显著物体，计算给定观测数据I1\dots T的情况下A1\dots T的条件分布，即$ P\left(A_{1...T}\right|I_{1...T})=\frac{1}{Z}\exp (-\underset{t}{\Sigma }{E}_t\left(A_t\right|I_{1...T},A_{t^{\prime }\ne t})),其中t\in [1，T]是时间刻度，Z是归一化函数，显著物体序列A1\dots T通过最小化能量函数进行求解：$ A_{1...T}^{*}=\arg \underset{A_{1...T}}{\min }\underset{t}{\Sigma }{E}_t\left(A_t\right|I_{1...T},A_{t^{\prime }\ne t})---\left(1\right)能量函数Et(At|I1\dots T，At\prime \ne t)可以定义为这些线索的线性组合：Ft为显著性约束，为空间连续性，为时间连续性，Gt为全局主题模型；动态规划算法设计如下：At是状态变量(中心和尺度)，Ut是相邻两帧之间矩形框变化的可能策略，那么最优值函数可以写作：$ S_{t+1}\left(A_{t+1}\right)=\arg \underset{U_t}{\min }{S}_t\left(A_t\right)+E_t\left(A_t\right)---\left(3\right)其中At＝T(At+1，Ut)从状态转移函数计算而来，E(At)为(2)式定义的能量函数，目标函数的初始值为S0＝0，前向算法可以用来进行最优值计算，获得全局最优的矩形框序列A1\dots T，在第一次进行能量最小化计算的时候，用到静态和动态显著性、时间与空间连续性，即：7)当未满足收敛条件，输出序列不再变化或者达到一定的迭代次数时跳转步骤5)继续迭代求解，否则，输出矩形框序列作为最优的显著物体序列。$$$$$$$$$$$$$$$$$$