[发明专利]一种基于特征轨迹的交通视频去抖方法

权利要求书

1.一种基于特征轨迹的交通视频去抖方法，其特征在于，包括步骤：

Step1：从交通视频中逐帧提取特征点，根据特征点匹配得到对应的特征轨迹；

Step2：基于时间和空间的优化函数对Step1得到的特征轨迹进行平滑处理得到平滑的特征轨迹；在平滑处理中使用分布式优化方法；

Step3：基于平滑前后的特征轨迹逐帧进行抖动视角到稳定视角的仿射变换；

所述Step1中特征轨迹提取方式如下：

特征点提取使用的是Harris角点提取；特征描述符使用的是FREAK描述符；对每一条特征轨迹建立矩阵存储每一帧的位置信息和特征描述符信息；对于新的一帧提取到的特征点进行FREAK描述符的最近邻匹配；所使用的连续特征轨迹指的是在平滑窗口长度Ω长的时间内被连续匹配上的特征点；

所述Step1中，采用基于反馈的自适应分块特征点数量控制算法对特征点数量进行控制；

所述基于反馈的自适应分块特征点数量控制算法具体步骤如下：

对交通视频中的图像进行分块，在每个图像块中单独检测特征点；

根据每个图像块中特征轨迹的数量来调整每个图像块中的特征点数量：

首先统计出每个图像块内的特征轨迹数量，记为T_i，j，t，(i，j)对应图像块索引，t表示帧数，对于下一帧中索引为(i，j)图像块中提取的特征点的数量计算如下：

其中θ表示比例因子，该比例因子为每次调整增加或者减少的幅度；ε表示限制变化的最大幅度，用于抑制每次调整增加或者减少的幅度；表示第t帧每一个图像块中特征轨迹数量的平均值，表示第t帧每一个图像块提取的特征点的平均值：

然后对每一个图像块提取的特征点数量进行归一化操作：

其中，F表示每帧中确定的提取的特征点的总数量，p和q表示分块的行数和列数。

2.根据权利要求1所述的基于特征轨迹的交通视频去抖方法，其特征在于，所述Step2中基于时间和空间的优化函数对Step1得到的特征轨迹进行平滑处理得到平滑的特征轨迹具体步骤如下：

基于以下三个假设设计优化函数：

(1)在同一帧内所有的特征轨迹包含相同的相机抖动；

(2)当两条特征轨迹来源于相同的背景或者前景时，它们包含相同的主动运动；

(3)对于所有的特征轨迹来说，平滑之后的帧间运动是缓慢变化的；

基于以上假设设计如下最小化无约束优化函数：

其中

其中Ω_t表示在t帧时的平滑窗口长度，Ω_t＝{t-ω,...,t,...,t+ω}，S表示在t帧时的连续特征轨迹集合，P_d,k表示在k帧时第d条特征轨迹的坐标，表示在k帧时第d条特征轨迹进行平滑处理后对应的坐标，α_d,e,k、β_d,e,k、λ_m,n、ξ分别表示O₁、O₂、O₃、O₄各项的权重参数；

(1)O₁对同一帧内前景和背景的特征轨迹的抖动量的相似性进行限制，即任意两条特征轨迹包含相同的相机抖动量；其中

w,h表示视频的宽度和高度，表示k帧时第d条特征轨迹的横纵坐标，α_d,e,k越大表示两条特征轨迹距离越近，这两条特征轨迹之间的相似约束越强；

(2)O₂对所有特征轨迹的帧间运动相似性进行约束，即相同的前景或背景上的特征轨迹帧间运动相同；是否来源于相同的前景或背景使用β_d,e,k来度量：

β_d,e,k＝α_d,e,k×γ_d,e,k，

其中，γ_d,e,k描述两条特征轨迹的帧间运动的一致性，γ_d,e,k越大，它们的帧间运动越相似，约束越强；

(3)O₃对特征轨迹的平滑性进行约束，即平滑后的特征轨迹的帧间运动是缓慢变化的，

其中σ＝2ω+1；

(4)O₄约束平滑后的特征轨迹尽可能靠近原始特征轨迹，从而避免过大的仿射变换，其中ξ对取值不敏感，为方便计算取值为1。

3.根据权利要求2所述的基于特征轨迹的交通视频去抖方法，其特征在于，所述Step2中在平滑处理中使用分布式优化方法具体步骤如下：

对于每一条特征轨迹单独进行约束和平滑处理，对于任意一条特征轨迹d₀，对于优化函数考虑以下两个和轨迹d₀距离相近的集合和

其中η设置为0.7，并定义轨迹d₀的邻居轨迹集合

对于第d₀条轨迹的平滑轨迹求解如下：

然后求解如下分布式优化问题，逐条求取在当前帧的平滑特征轨迹对应的坐标

通过求取所有的P_d,t和进行仿射变换，将抖动帧映射到稳定帧。