[发明专利]运动状态自适应关键帧提取方法

摘要

本发明公开了一种运动状态自适应关键帧提取方法，涉及图像处理方法技术领域。所述方法包括如下步骤：视频序列的运动片段分割；在分割后的视频运动片段中提取时空切片；使用时空切片构建STS‑CS模型来检测视频运动片段中的目标运动状态；根据目标运动状态的改变绘制视觉注意力曲线；根据视觉注意力曲线提取关键帧。所述方法能够全面、高效的捕捉到目标运动状态改变，且提取的关键帧更准确。

主权项

1.一种运动状态自适应关键帧提取方法，其特征在于所述方法包括如下步骤：1)视频序列的运动片段分割，视频序列中运动片段的分割采用基于视觉感知能量的运动片段分割方法进行；2)在分割后的视频运动片段中提取时空切片；根据视频场景的先验信息确定时空切片的数目，如果运动目标较大，并且占据了大部分的视频高度，选择在视频中间位置提取时空切片；如果运动目标只出现在部分监视区域中，则只在运动区域内提取时空切片；在对运动目标的大小以及出现位置不确定的情况下，选择等间隔方法进行时空切片提取；3)使用时空切片构建STS‑CS模型来检测视频运动片段中的目标运动状态；步骤3)包括以下步骤：3‑1)去除运动片段的视频时空切片背景；所述步骤3‑1)具体包括如下步骤：时空切片的每一列视作一个高斯模型输入，模型参数逐列更新，高斯均值μ和方差δ2的更新公式为：上式中：是运动片段切片中第t+1列的亮度，α是修正率，定义为：上式中：Mn是匹配次数；检测运动片段切片的每一像素Ip是否服从N(μ,δ)分布，然后前景运动轨迹Tf由以下公式计算得到：根据上式运动片段切片上的目标运动轨迹作为前景从直条纹切片背景中分离出来；3‑2)使用去除背景后的时空切片构建STS‑CS模型来检测视频运动片段中的目标运动状态；所述步骤3‑2)具体包括如下步骤：使用改进的基于Hough变换的分段检测方法来检测目标运动轨迹，考虑到垂直方向的直线段运动轨迹，直线段的极坐标公式定义为：ρ＝xsinθ‑ycosθ,θ∈[0,π]位于聚类中心的局部极大值被用于构建STS‑CS模型；构建STS‑CS模型的方法如下：STS‑CS模型涉及到四个必需的模型参数：起点c_s，终点c_e，直线段斜率和直线段长度c_l，那么，STS‑CS模型可以表示为：四个模型参数之间的关系可以表示为：cl＝|ce‑cs|上式中：cs1，cs2分别是起点cs的水平坐标和垂直坐标，相似的，ce1，ce2分别是终点ce的水平坐标和垂直坐标；如果目标在运动过程中停止了一段时间，那么这段停止时间内的STS‑CS模型可以表示为：(cs,ce,0,cl)；4)根据目标运动状态的改变绘制视觉注意力曲线；5)根据视觉注意力曲线提取关键帧；步骤4)和5)包括以下步骤：为了测量目标运动状态的改变程度，定义偏离角的概念，即STS‑CS模型中两个相连的直线段的夹角；偏离角越大，目标运动状态改变的越剧烈，也就更能吸引人的注意；据此，第Fi帧的视觉注意力A可以由以下公式计算得到：上式中：θ表示偏离角，L表示视频序列的帧的数目，Q表示当前的视频帧的运动目标的数目，w是一个与运动目标的大小有关的权值常量；根据上式，计算每一视频帧的视觉注意力值，然后把这些值连接起来形成注意力曲线；注意力曲线的峰值对应着目标运动状态的改变点(*)；没有目标运动状态改变的视频帧的注意力值为0；注意力值随着目标运动状态的改变程度而自适应的改变，目标运动状态改变的程度越大，注意力值就越大，反之亦然；如果有多个目标的运动状态改变发生在同一视频帧内，则此视频帧的注意力值是所有偏离角的总和；对应于注意力曲线峰值的视频帧，即包含有目标运动状态改变，被提取为视频关键帧；6)对所提取的关键帧进行精简与优化，形成最终的关键帧；步骤6)包括以下步骤：连续的两个关键帧的峰值信噪比PSNR定义为：上式中：Imax和H×W分别是最大像素亮度值和关键帧的大小；定义PSNR高于30dB的连续关键帧为相似关键帧，根据上式计算出所有的位置相邻的关键帧的PSNR，并且用F或者T进行标记，F代表着两个相似的关键帧，T表示是不相似的关键帧；一个单独的F代表着两个相似的关键帧，后面一个被去除；两个相邻的F代表着三个相似关键帧，前、后两帧被去除，而保留中间的关键帧；如果有多于2个的连续的F同时出现，只有第一个和最后一个关键帧保留，去除中间的所有的关键帧。