[发明专利]一种适用于RGB-D相机的快速目标跟踪方法

摘要

本发明公开了一种适用于RGB‑D相机的快速目标跟踪方法，属于视频分析及三维点云处理领域。该方法是在传统模板匹配的基础上，利用RGB‑D得到的深度信息，将模板匹配得到的二维响应图投影到三维空间，得到三维响应图，通过Parzen窗口方法搜索三维响应图的局部极大值，从而确定物体在三维空间中的位置，而得到的三维位置又能为下一时刻的模板匹配提供精确的尺度信息，从而得到更为准确的跟踪结果。本发明能够用于视频监控、增强现实、机器人视觉导航等领域中，实现对目标实时、准确的追踪。

主权项

1.一种适用于RGB‑D相机的快速目标跟踪方法，其特征在于，包括如下步骤：1)初始时刻，人工选定需要跟踪的目标，将目标所在的区域大小为(w0,h0)的RGB图像块同时作为模板T0和模板T1，其中，w0表示图像块的宽，h0表示图像块的高；2)将模板T0所在的区域内所有像素点反投影到三维空间得到三维点云，计算三维点云的中心作为目标在0时刻的三维位置(X0,Y0,Z0)，计算三维点云中的点与(X0,Y0,Z0)距离的最大值r；3)分别利用模板T0和模板T1在相机获取的RGB图像的R、G、B三个通道上的图像进行模板匹配，得到6张二维响应图R1,R2,...,R6，并计算平均响应图R，计算方法如下：R＝(R1+R2+...R6)/6；4)利用相机拍摄得到的当前时刻的深度图像和给定的相机厂商提供的相机参数将平均响应图R中的每个点反投影到三维空间得到三维点云集合点云中的每个点的权值为平均响应图R中对应位置的值5)将前一时刻跟踪得到的三维位置做初始值，用Parzen窗口方法得到步骤4)中三维点云集合的局部极大值所在位置，该位置即为目标在当前时刻的三维位置(Xt,Yt,Zt)；6)利用目标的当前位置(Xt,Yt,Zt)，计算得到目标在当前时刻图像上的投影尺寸(wt,ht)，其中，wt表示投影图像的宽，ht表示投影图像的高；7)计算(Xt,Yt,Zt)在t时刻RGB图像上的投影(xt,yt)，在图像上以(xt,yt)为中心取大小为(wt,ht)的图像块T；8)利用图像块T更新模板T1，T0保持不变；9)返回步骤3)，直到相机停止拍摄得到新的图像。