[发明专利]基于3D点云和2D彩色图像相结合的高精度目标跟踪方法

说明书

本发明公开了一种基于3D点云和2D彩色图像相结合的高精度目标跟踪方法，通过获取机器人前方的2D彩色图像和3D空间中的深度信息，可以识别2D彩色图像内的感兴趣的目标。通过采用稀疏表示实现2D彩色图像中的目标追踪，并且由于目标最终映射到3D空间中，从而还可以精确计算目标在三维空间中的轨迹，进而实现3D点云中的目标追踪。以及由于将目标模板图像划分为多个局部的方式，可以改善目标在2D图像中被局部遮挡和相似背景干扰的问题，从而可以提高目标跟踪方法的精度。

技术领域

本发明涉及机器人技术领域，特别涉及基于3D点云和2D彩色图像相结合的高精度目标跟踪方法。

背景技术

机器人技术飞速发展，使得机器人在实际问题中得到了越来越广泛的应用。目前，机器人可以在有障碍物的环境中面向目标进行自主运动，从而完成一定作业功能，并已在跟踪工厂环境下人员、移动货架、AGV(Automated Guided Vehicle，自动导引运输车)等环境中得到广泛的应用。

发明内容

本发明实施例提供的基于3D点云和2D彩色图像相结合的高精度目标跟踪方法，用以对目标的具体位置进行跟踪。

本发明实施例提供了一种基于3D点云和2D彩色图像相结合的高精度目标跟踪方法，包括：

获取第t帧中所述机器人前方的2D彩色图像和3D空间中的深度信息；其中，t为整数且t1；

识别所述2D彩色图像内的初始物体；

采用目标框在预先确定的目标位置处周围选取多个候选图像；其中，所述目标位置处为所述第t帧中的2D彩色图像内与第t-1帧的2D彩色图像内目标追踪的具体位置的相同位置处；

将所述候选图像中的每一个划分为M个第一局部区域，以及将预先确定的所述目标对应的目标模板图像划分为M个第二局部区域；其中，M为正整数；

根据每一个所述候选图像对应的M个第一局部区域、所述目标模板图像对应的M个第二局部区域、以及M个权重，采用稀疏表示确定每一个所述候选图像对应的系数向量；其中，相同位置处的第一局部区域和第二局部区域对应同一个权重，不同权重对应的局部区域不同；

根据确定出的每一个所述候选图像对应的系数向量，确定所述目标在所述第t帧内的预测状态；

根据第t帧中所述目标在2D彩色图像内的检测状态，并将所述第t帧的所述检测状态与所述预测状态进行关联匹配与融合，确定所述目标在所述第t帧内的当前状态；

将确定出的所述目标在所述第t帧内的当前状态和所述目标对应的深度信息，映射到所述3D空间中，确定所述目标在所述3D空间中的具体位置信息。

可选地，在本发明实施例中，在所述获取第t帧中所述机器人前方的2D彩色图像和3D空间中的深度信息之前，还包括：

获取第1帧中所述机器人前方的2D彩色图像和3D空间中的深度信息；

识别所述第1帧中的所述2D彩色图像内的初始物体；

将所述第1帧中识别出的所述2D彩色图像内的初始物体中的至少一个进行标记，以作为目标。

可选地，在本发明实施例中，所述目标跟踪方法还包括：

在连续的至少两帧识别出的初始物体中不具有标记的目标时，移除对所述目标的标记。

可选地，在本发明实施例中，确定所述M个权重中的第m个权重的方法，包括：

采用所述目标框，将第t-1帧中所述目标的当前状态在2D彩色图像中选取出来，作为基准图像；

将所述基准图像划分为M个基准局部区域；