[发明专利]基于3D点云和2D彩色图像相结合的高精度目标跟踪方法

权利要求书

1.一种基于3D点云和2D彩色图像相结合的高精度目标跟踪方法，其特征在于，包括：

获取第t帧中机器人前方的2D彩色图像和3D空间中的深度信息；其中，t为整数且t1；

识别所述2D彩色图像内的初始物体；

采用目标框在预先确定的目标位置处周围选取多个候选图像；其中，所述目标位置处为所述第t帧中的2D彩色图像内与第t-1帧的2D彩色图像内目标追踪的具体位置的相同位置处；

将所述候选图像中的每一个划分为M个第一局部区域，以及将预先确定的所述目标对应的目标模板图像划分为M个第二局部区域；其中，M为正整数；

根据每一个所述候选图像对应的M个第一局部区域、所述目标模板图像对应的M个第二局部区域、以及M个权重，采用稀疏表示确定每一个所述候选图像对应的系数向量；其中，相同位置处的第一局部区域和第二局部区域对应同一个权重，不同权重对应的局部区域不同；

根据确定出的每一个所述候选图像对应的系数向量，确定所述目标在所述第t帧内的预测状态；

根据第t帧中所述目标在2D彩色图像内的检测状态，并将所述第t帧的所述检测状态与所述预测状态进行关联匹配与融合，确定所述目标在所述第t帧内的当前状态；

将确定出的所述目标在所述第t帧内的当前状态和所述目标对应的深度信息，映射到所述3D空间中，确定所述目标在所述3D空间中的具体位置信息。

2.如权利要求1所述的基于3D点云和2D彩色图像相结合的高精度目标跟踪方法，其特征在于，在所述获取第t帧中所述机器人前方的2D彩色图像和3D空间中的深度信息之前，还包括：

获取第1帧中所述机器人前方的2D彩色图像和3D空间中的深度信息；

识别所述第1帧中的所述2D彩色图像内的初始物体；

将所述第1帧中识别出的所述2D彩色图像内的初始物体中的至少一个进行标记，以作为目标。

3.如权利要求2所述的基于3D点云和2D彩色图像相结合的高精度目标跟踪方法，其特征在于，所述目标跟踪方法还包括：

在连续的至少两帧识别出的初始物体中不具有标记的目标时，移除对所述目标的标记。

4.如权利要求1-3任一项所述的基于3D点云和2D彩色图像相结合的高精度目标跟踪方法，其特征在于，确定所述M个权重中的第m个权重的方法，包括：

采用所述目标框，将第t-1帧中所述目标的当前状态在2D彩色图像中选取出来，作为基准图像；

将所述基准图像划分为M个基准局部区域；

将第m个基准局部区域中所述目标的像素点的总数与所述基准图像中目标的所有像素点的总数的比值，确定为第m个权重；m为整数，且1≤m≤M。

5.如权利要求1-3任一项所述的基于3D点云和2D彩色图像相结合的高精度目标跟踪方法，其特征在于，第1帧中的目标对应的目标模板图像为所述目标在所述第1帧的2D彩色图像内采用目标框标示出的图像；

第t帧中的目标对应的目标模板图像为第t-1帧中的目标模板图像与所述第t-1帧中所述目标在所述2D彩色图像内采用目标框标示出的图像融合后确定的图像。

6.如权利要求1-3任一项所述的基于3D点云和2D彩色图像相结合的高精度目标跟踪方法，其特征在于，所述识别所述2D彩色图像内的初始物体，具体包括：

采用预先训练好的Mask R-CNN算法识别所述2D彩色图像内的初始物体。

7.如权利要求1-3任一项所述的基于3D点云和2D彩色图像相结合的高精度目标跟踪方法，其特征在于，采用RGB-D相机获取第t帧中所述机器人前方的2D彩色图像和3D空间中的深度信息。

8.如权利要求1-3任一项所述的基于3D点云和2D彩色图像相结合的高精度目标跟踪方法，其特征在于，采用双目3D摄像头中的至少一种获取第t帧中所述机器人前方的2D彩色图像和3D空间中的深度信息。

9.如权利要求1-3任一项所述的基于3D点云和2D彩色图像相结合的高精度目标跟踪方法，其特征在于，采用预先训练好的Mask R-CNN算法，确定第t帧中所述目标在2D彩色图像内的检测状态。