[发明专利]一种深度信息辅助粒子滤波跟踪方法

摘要

本发明公开了一种深度信息辅助粒子滤波跟踪方法，通过带深度传感器的摄像头如Kinect摄像头对图像进行采集，获取RGB以及深度数据。跟踪时，首先在第一帧选取一个跟踪目标，获得跟踪区域窗口大小，依据选取目标RGB信息，中心点深度值以及整个区域深度数据对跟踪目标进行特征建模,并按上述方法继续下一帧图像的建模。根据粒子在不同位置的不同深度值，以及第一帧的深度值，即可算出每一个粒子所描述区域的窗口大小，从而得到区域特征。按与第一帧同样方式进行建模，并与第一帧特征进行比较，最终得到最佳粒子区域。从而实现结合深度信息的粒子滤波跟踪。本发明根据采集到的RGB‑D信息，即颜色及深度信息，提升目标跟踪下的准确性和鲁棒性。

主权项

一种深度信息辅助粒子滤波跟踪方法，主要包括以下步骤：步骤1：使用带有深度传感器的摄像头为前端，获取目标区域第一帧的RGB‑D图像数据；所述深度传感器能够探测并记录目标距该深度传感器的直线距离，所述RGB‑D图像数据包括图像的RGB数据及图像中每一像素点对应目标所在空间位置距深度传感器的距离信息D；步骤2：在第一帧图像中手动选择跟踪目标，并根据目标的RGB‑D特征进行建模；手动选择跟踪目标所在区域并定义为跟踪窗口H1，所述跟踪窗口的中心像素点深度为D1，所述深度即为像素点对应目标所在空间位置距离所述深度传感器的直线距离；设置深度方向阈值Dth，根据阈值Dth定义窗口区域内第i个像素点的深度方向权重ωz，i：ωz,i=1,whenDi∈Dth0,whenDi∉Dth,]]>其中，Di是跟踪窗口区域内第i个像素点的深度值；对跟踪窗口内的区域做深度信息加权每个像素点的颜色信息Ii乘以该像素点的深度方向权重ωz，i即得该像素点的深度信息加权值跟踪窗口区域的深度信息加权颜色矩阵为记Histobased为跟踪窗口区域深度信息加权矩阵φ的统计直方图，即Histobased为跟踪窗口区域的RGB‑D特征模型；步骤3：通过所述前端获取第二帧的RGB‑D图像数据；步骤4：采用粒子滤波跟踪算法，初始化N个粒子并进行移动采样；步骤5：把每个粒子以自身坐标为中心扩展成一个粒子区域；步骤6：按照步骤2所述方法计算所述N个粒子区域的RGB‑D特征并建模，得到每个粒子区域的RGB‑D特征模型Histocandidate，j，j＝1，…，N；计算每个粒子区域的RGB‑D特征模型与所述的第一帧图像中跟踪窗口区域的RGB‑D特征模型Histobased的相似度；步骤7：从所述N个相似度中选出相似度最大值所对应的粒子区域，并将该区域对应的粒子位置按照粒子滤波算法进行粒子重采样，得跟踪目标在第二帧图像中的具体区域；步骤8：若所述前端获得了第三帧及后续图像，则对每一帧图像依次按步骤3至步骤7所述方法进行操作，得到跟踪目标在每一帧图像中的具体位置；若无则后续图像则退出执行，完成目标跟踪。