[发明专利]基于响应图置信区域自适应特征融合的相关滤波跟踪方法

权利要求书

1.一种基于响应图置信区域自适应特征融合的相关滤波跟踪方法，其特征在于，基于相关滤波跟踪框架，采用方向梯度直方图(HOG)和颜色直方图两种互补特征进行特征提取，并根据每个视频帧特定场景下响应图的置信区域自适应设置两种特征的融合参数；

包括如下步骤：

步骤一.输入第一帧

设视频帧序列中的每一帧左上角为坐标原点(1,1)，宽高分别为Width和Height；手工或自动选定第一帧中待跟踪目标的矩形区域(x₀,y₀,w₀,h₀)，即选定的跟踪目标；其中，(x₀,y₀)表示矩形区域的左上角坐标，w₀,h₀分别表示矩形区域的宽高；第一帧选定目标也称为当前帧跟踪结果(x₁,y₁,w₁,h₁)＝(x₀,y₀,w₀,h₀)，下标表示当前帧号；

步骤二.初始化目标模板

1计算搜寻窗口；

2生成标准高斯响应图；

3提取方向梯度直方图(HOG)特征；

4计算HOG特征的相关滤波器模板；

5提取颜色直方图特征模板；

步骤三.输入下一帧并提取特征

依据步骤二中步骤1的方法计算当前帧搜寻窗口Search(t)，依据步骤二中步骤3的描述提取当前帧方向梯度直方图(HOG)特征的频域表示F_t；

依据步骤二中步骤5的方法提取当前帧颜色直方图特征bg_hist_t和fg_hist_t，将搜寻区域图像中每个像素对应到直方图的bin值，结合标准目标窗口尺寸和上一帧颜色直方图特征bg_hist_t-1和fg_hist_t-1，计算出当前帧颜色直方图特征和颜色直方图模板的相似图谱L_t，其尺寸与响应图G相同；

步骤四.自适应特征融合

4.1计算自适应特征融合参数

令E(G_t)表示HOG特征响应图G_t的期望，计算方法如公式(1)所示：

令Gh_t表示HOG特征响应图G_t的置信区域，(i,j)位置的元素Gh_t(i,j)计算方法如公式(2)所示：

HOG特征响应图G_t的自适应融合参数α计算方法如公式(3)所示：

颜色直方图相似图谱L_t的自适应融合参数为1-α；

4.2自适应特征融合

令GL表示HOG特征响应图G_t和颜色直方图相似图谱L_t自适应特征融合的结果，其计算方法如公式(4)所示：

GL＝α×G_t+(1-α)×L_t      (4)

步骤五.确定跟踪结果

步骤六、更新目标模板

步骤七、如果当前帧是最后一帧，跟踪结束；否则，转至步骤3；

所述步骤二，具体包括如下步骤：

1计算搜寻窗口

根据上一帧即t-1帧跟踪结果(x_t-1,y_t-1,w_t-1,h_t-1)对应的矩形区域可以计算出当前帧即第t帧候选目标的搜寻窗口Search(t)，特别地，第一帧搜寻窗口则根据(x₀,y₀,w₀,h₀)计算；搜寻窗口的中心点为(x_s_t,y_s_t)，其中x_s_t＝x_t-1+w_t-1/2、y_s_t＝y_t-1+h_t-1/2，宽高分别为w_s_t＝1.5×w_t-1+0.5×h_t-1、h_s_t＝1.5×h_t-1+0.5×w_t-1；为了确保搜寻范围在视频帧范围内，进一步依据该搜寻范围与当前帧区域的交集修正搜寻窗口的宽高；为便于后续计算颜色直方图特征，限定搜寻窗口的边界与真实目标边界之间的距离为偶数，进一步修正搜寻窗口的宽高；

令标准化窗口NormWin的宽高分别为w_n和h_n，则搜寻窗口的变换因子为根据搜寻窗口变换因子可以将搜寻窗口图像进行标准化变换形成标准搜寻窗口，其宽高为w_sn_t＝w_s_t×γ、h_sn_t＝h_s_t×γ，当前帧的标准目标窗口的宽高为w_on_t＝w_sn_t×0.75-h_sn_t×0.25、h_on_t＝h_sn_t×0.75-w_sn_t×0.25；

2生成标准高斯响应图

标准高斯响应图g是一个二维矩阵，其宽高为w_g＝w_sn_t/cell、h_g＝h_sn_t/cell，其矩阵元素值是符合二维高斯分布N(0,0,δ,δ,0)的概率密度函数，可按照公式进行计算；其中，δ表示二维高斯分布的标准差，计算方法为cell表示HOG特征提取过程中每个格子的尺寸为cell×cell，(i,j)表示高斯响应图矩阵的元素坐标位置，原点位于矩阵的中心点；将标准高斯响应图进行傅立叶变换可以得到其频域表示G，其与g同尺寸；

3提取方向梯度直方图(HOG)特征

以cell作为HOG特征格子尺寸参数、2×2个格子作为块大小、直方图组距bin设置为2π/7，在当前帧标准化搜寻窗口内提取HOG特征f_t，其尺寸为w_g×h_g×28；采用尺寸为w_g×h_g的余弦窗对特征f_t进行平滑处理，再进行傅里叶变换得到HOG特征的频域表示F_t，其与f_t同尺寸；

4计算HOG特征的相关滤波器模板

已知标准化搜寻窗口HOG特征的频域表示F_t和标准高斯响应图的频域表示G，则HOG特征相关滤波器模板的频域表示H_t可以根据公式H_t＝G/F_t计算得到；

5提取颜色直方图特征模板

搜寻窗口Search(t)＝(x_s_t,y_s_t,w_s_t,h_s_t)内目标区域(x_t-1,y_t-1,w_t-1,h_t-1)以外的区域定义为背景区域，目标区域缩进一定量定义为前景区域，其中心点与目标区域相同，宽高缩进量皆为(w_t-1+h_t-1)/10；在背景区域和前景区域分别提取背景颜色直方图bg_hist_t和前景颜色直方图fg_hist_t，即为当前帧颜色直方图特征模板；

所述步骤三中，当前帧HOG特征的响应图G_t根据公式G_t＝F_t⊙H_t-1计算得到；

所述步骤五具体包括：自适应特征融合结果GL矩阵元素值代表其对应搜寻窗口内候选目标是跟踪结果的概率，则最大元素值对应候选目标即是跟踪结果；

当前帧搜寻窗口内候选目标的个数为(w_sn_t-w_on_t)×(h_sn_t-h_on_t)；令GL_max、x_GL_max和y_GL_max分别表示自适应特征融合结果GL矩阵中最大元素值及其对应的横纵坐标位置，则当前帧跟踪结果为(x_t,y_t,w_t,h_t)，其中w_t＝w_t-1、h_t＝h_t-1、x_t＝x_t-1+(x_GL_max-(w_sn_t-w_on_t)/2)/γ-w_t/2、y_t＝y_t-1+(y_GL_max-(h_sn_t-h_on_t)/2)/γ-h_t/2，γ为搜寻窗口的变换因子；

所述步骤六具体包括：

依据当前帧跟踪结果(x_t,y_t,w_t,h_t)的位置和步骤2.1的方法计算搜寻窗口Search'(t)，依据步骤2.3的方法提取Search'(t)范围内方向梯度直方图(HOG)特征的频域表示F_t'，依据步骤2.4的方法计算H_t'＝G/F_t'；令η为更新参数，当前帧HOG特征相关滤波器模板H_t更新方法如公式(5)所示：

H_t＝(1-η)H_t-1+ηH_t'    (5)

依据当前帧跟踪结果(x_t,y_t,w_t,h_t)的位置和步骤2.5的方法提取颜色直方图特征bg_hist_t'和fg_hist_t'；令θ和β为更新参数，当前帧背景颜色直方图和前景颜色直方图模板更新方法如公式(6)、(7)所示：

bg_hist_t＝(1-θ)×bg_hist_t-1+θ×bg_hist_t'    (6)

fg_hist_t＝(1-β)×fg_hist_t-1+β×fg_hist_t'    (7)。