[发明专利]一种适用于RGB-D相机的快速目标跟踪方法

说明书

本发明公开了一种适用于RGB‑D相机的快速目标跟踪方法，属于视频分析及三维点云处理领域。该方法是在传统模板匹配的基础上，利用RGB‑D得到的深度信息，将模板匹配得到的二维响应图投影到三维空间，得到三维响应图，通过Parzen窗口方法搜索三维响应图的局部极大值，从而确定物体在三维空间中的位置，而得到的三维位置又能为下一时刻的模板匹配提供精确的尺度信息，从而得到更为准确的跟踪结果。本发明能够用于视频监控、增强现实、机器人视觉导航等领域中，实现对目标实时、准确的追踪。

技术领域

本发明涉及一种适用于RGB-D相机的快速目标跟踪方法，属于视频分析及三维点云处理技术领域。

背景技术

目标跟踪在视频监控、虚拟现实等领域都有重要的应用。传统的相机条件下，目标跟踪只能在二维RGB图像上进行，容易受到干扰，导致跟踪失败。近年来，RGB-D相机开始普及，相比于传统的RGB相机，RGB-D除了能获得RGB图像外还能够获得场景的深度信息。目前，RGB-D相机现有的RGB-D相机下的目标跟踪方法，将深度通道作为一个普通的颜色通道来处理，忽略了其背后包含的场景三维结构信息，因此并未充分利用RGB-D相机提供的深度信息。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种适用于RGB-D相机的快速目标跟踪方法，该方法是在传统模板匹配的基础上，利用RGB-D得到的深度信息，将模板匹配得到的二维响应图投影到三维空间，得到三维响应图，通过Parzen窗口方法搜索三维响应图的局部极大值，从而确定物体在三维空间中的位置，而得到的三维位置又能为下一时刻的模板匹配提供精确的尺度信息，从而得到更为准确的跟踪结果。

为解决上述技术问题，本发明提供一种适用于RGB-D相机的快速目标跟踪方法，包括如下步骤：

1)初始时刻，人工选定需要跟踪的目标，将目标所在的区域大小为(w₀,h₀)的RGB图像块同时作为模板T₀和模板T₁，其中，w₀表示图像块的宽，h₀表示图像块的高；

2)将模板T₀所在的区域内所有像素点反投影到三维空间得到三维点云，计算三维点云的中心作为目标在0时刻的三维位置(X₀,Y₀,Z₀)，计算三维点云中的点与(X₀,Y₀,Z₀)距离的最大值r；

3)分别利用模板T₀和模板T₁在相机获取的RGB图像的R、G、B三个通道上的图像进行模板匹配，得到6张二维响应图R₁,R₂,...,R₆，并计算平均响应图R，计算方法如下：R＝(R₁+R₂+...R₆)/6；

4)利用相机拍摄得到的当前时刻的深度图像和给定的相机厂商提供的相机参数将平均响应图R中的每个点反投影到三维空间得到三维点云集合点云中的每个点的权值为平均响应图R中对应位置的值

5)将前一时刻跟踪得到的三维位置做初始值，用Parzen窗口方法得到步骤4)中三维点云集合的局部极大值所在位置，该位置即为目标在当前时刻的三维位置(X_t,Y_t,Z_t)；

6)利用目标的当前位置(X_t,Y_t,Z_t)，计算得到目标在当前时刻图像上的投影尺寸(w_t,h_t)，其中，w_t表示投影图像的宽，h_t表示投影图像的高；