[发明专利]一种摄像机运动不变的时空兴趣点特征检测方法

摘要

本发明公开了一种摄像机运动不变的时空兴趣点特征检测方法。在视频内容理解与分析，尤其是视频人体动作识别任务中，时空兴趣点特征发挥着重要作用。当摄像机运动时，现有时空兴趣点特征检测方法，容易将背景运动误检测为时空兴趣点特征。为解决该问题，本发明提出：在视频中检测图像局部特征，并跟踪生成图像局部特征运动轨迹，然后，利用局部特征运动轨迹提取背景运动模式，接着，筛选出与背景运动模式不一致的局部特征运动轨迹，用于定位时空兴趣点特征，最后，利用背景运动模式进行摄像机运动补偿，提取摄像机运动不变时空兴趣点特征。与现有方法相比，本发明能够有效抑制摄像机运动干扰，降低摄像机运动情况下时空兴趣点特征的误检测率。

主权项

1.一种摄像机运动不变的时空兴趣点特征检测方法，其特征在于：包括以下步骤：(1)将待检测视频划分为若干视频段；(2)在视频段的第一帧图像中检测出图像局部特征；所检测的图像局部特征包括两部分信息：图像局部特征的空间极值尺度c、图像位置(u,v)；(3)在视频段中，对图像局部特征进行跟踪，获取图像局部特征轨迹；获取初始帧图像中的图像局部特征后，通过跟踪可以提取局部特征轨迹，这里利用步骤2中图像局部特征的图像位置(u,v)作为输入，选用KLT特征跟踪算法，获取局部特动轨迹W＝[w1,...,wn]；(4)利用视频段中图像局部特征轨迹估计出该视频段的背景运动模式；背景运动模式体现为背景区域内的局部特征轨迹所构成的背景运动低维子空间M；该子空间通过随机搜索算法得到；具体实施步骤是：从局部特征轨迹W＝[w1,...,wn]中，随机地选择3条运动轨迹{wi1,wi2,wi3}构建子空间然后，以此子空间si计算投影矩阵Pi，并重构所有运动轨迹计算重构误差通过T次循环，从S＝[s1,...,sT]中，选择具有最小重构误差et的子空间st作为背景运动低维子空间其中(5)利用步骤(4)中的背景运动模式，找出与之不一致的图像局部特征轨迹，用于确定前景局部特征；筛选与背景运动模式不一致的图像局部特征轨迹，其方法是：利用公式(6)，逐一检测图像局部特征轨迹W中的每一条轨迹wj，判断重构误差ej是否满足ej＞th；满足该条件的轨迹即为前景局部特征轨迹； L ( w j ) ∈ 0 i f e j < t h 1 e l s e - - - ( 6 ) ]]>其中，L(wj)是轨迹wj的标号，0表示背景局部特征轨迹，1表示前景局部特征轨迹；其中，ej是轨迹wj在背景运动低维子空间M上的重构误差，th是判断阈值；ej通过下式计算：ej＝||Pwj-wj||2 (7)阈值t的确定方法是：统计所有运动轨迹W＝[w1,...,wn]在背景运动低维子空间M上的重构误差E＝[e1,...,en]，以E的均值me加k倍标准方差σe作为阈值，即设th＝me+kσe，k的取值范围为1-3；(6)利用步骤(4)中的背景运动模式，对视频段内图像进行运动补偿后，对步骤(5)中提取的前景局部特征进行特征描述，提取摄像机运动不变时空兴趣点特征；根据步骤(5)得到的背景运动轨迹，采用摄像机运动六参数模型估计相邻帧图像的摄像机运动矩阵H,进行背景运动补偿：Q＝Hq (8)其中，q是运动补偿前像素坐标，Q是运动补偿后像素坐标；摄像机运动补偿后，以前景局部特征的图像位置(u,v)定位时空兴趣点特征，以该轨迹中图像局部特征的空间极值尺度c定义特征描述空域区域大小，采用HOG/HOF特征描述子得到摄像机运动不变时空兴趣点特征。