[发明专利]一种多深度相机融合的人体空间定位与跟踪方法

权利要求书

1.一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，具体包括以下步骤：

S1.获取RGB-D相机拍摄的连续的RGB图像、深度图像以及RGB图像转换到深度图像的变换矩阵的RGB-D图像，所述RGB图像、深度图像和RGB-D图像转换为点云并融合，得到图像点云；

S2.根据PCL点云库对所述图像点云进行检测，提取出目标对象的点云作为目标点云；

S3.根据所述目标点云，通过点云匹配和粒子滤波算法在新获取的RGB-D图像中对目标对象进行空间定位；

S4.将所述空间定位内的点云作为搜索区域点云，所述目标点云作为目标模版点云输入到Point-to-Box网络，所述Point-to-Box网络根据搜索区域点云和目标模版点云训练得到跟踪器模型，通过所述跟踪器模型检测连续的RGB-D图像中的目标对象，实现对目标对象的跟踪。

2.根据权利要求1所述的一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，所述步骤S2具体包括以下步骤：

S21.将所述图像点云分为正样本和负样本，提取所述正样本和负样本的方向梯度直方图特征；

S22.所述正样本和负样本的方向梯度直方图特征输入SVM分类器，得到目标对象的检测模型；

S23.根据所述目标对象的检测模型生成检测子；

S24.根据所述检测子检测负样本，得到标对象的困难样本；

S25.提取困难样本的方向梯度直方图特征，与正样本和负样本的方向梯度直方图特征输入SVM分类器进行训练，得到最终检测子，根据所述最终检测子对图像点云进行检测，提取出目标对象的点云作为目标点云。

3.根据权利要求1所述的一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，所述RGB-D相机中的深度相机为Kinect深度相机。

4.根据权利要求3所述的一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，所述Kinect深度相机的数量为2个或2个以上。

5.根据权利要求1所述的一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，所述步骤S3中粒子滤波具体包括以下步骤：

S31.计算所述目标点云中粒子的权重，形成粒子集合；

S32.根据权重对上一时刻的粒子集合中的粒子进行抽样，根据状态转移概率和抽样得到的粒子的权重计算当前时刻的粒子，并将计算得到的当前时刻的粒子添加到粒子集合中；

S33.计算粒子集合中所有粒子的权值之和；

S34.根据所有粒子的权值之和对所有的粒子的权值进行归一化处理；

S35.输出当前时刻的粒子及其归一化处理后的权值。

6.根据权利要求5所述的一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，所述步骤S32中从粒子集合中抽样的粒子的数量的影响因素包括目标点云的噪声方差。

7.根据权利要求6所述的一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，所述粒子的数量越少，对应粒子滤波的时间复杂度越低。

8.根据权利要求1所述的一种多深度相机融合的人体空间定位与跟踪方法，其特征在于，所述搜索区域点云的规模为搜索区域点云对应的数量乘以3，所述目标模版点云的规模为目标模版点云对应的数量乘以3。