[发明专利]一种基于激光雷达和PTZ摄像机的目标追踪方法

权利要求书

1.一种基于激光雷达和PTZ摄像机的目标追踪方法，其特征在于，包括以下步骤：

S1.采集PTZ摄像机在多个静态姿态下的图像与激光雷达对应的点云；

S2.利用上述图像和点云，在PTZ摄像机每个静态姿态下进行联合标定确定雷达坐标系与图像坐标系的关系；

S3.基于转移矩阵推导PTZ摄像机动态情况下姿态与转移矩阵的映射关系；确定动态姿态下姿态与转移矩阵的映射关系的方法包括以下步骤：

S31.假定PTZ摄像机中图像投影平面的旋转中心为摄像机初始姿态下图像到点云的映射关系为T₀，姿态变化量为R_cam，姿态变化后图像到点云的映射关系为T₁；摄像机第二次运动可以由欧式变换表述：

上式为姿态与转移矩阵的映射关系，其中为待求解变量；

S32.改变PTZ摄像机姿态，进行N次记录；记姿态变化后图像到点云的映射关系为T_i＝[R_it_i]其中i∈[1,N]，将PTZ摄像机不同姿态下与激光雷达的转换关系代入式(1.3)中并提取关于位移的部分，得到多组方程，联立所得方程组得到一组超定方程；

S33.求解该超定方程得到旋转中心即可确定PTZ摄像机姿态与点云到图像转移矩阵的映射关系；

S4.在追踪中对IMU和PTZ摄像机姿态查询结果进行融合，获取PTZ摄像机的实时姿态，并基于上述映射关系实时确定PTZ摄像机和激光雷达的转移矩阵；

S5.根据实时确定的转移矩阵将点云转换成稀疏深度图，与摄像机图像进行特征融合后使用KCF算法进行目标追踪；

S6.根据目标追踪模块的反馈结果，实时调整PTZ摄像机的姿态，保持追踪目标在画面中心。

2.根据权利要求1所述的基于激光雷达和PTZ摄像机的目标追踪方法，其特征在于，所述的S2步骤中激光雷达和摄像机进行联合标定的方法包括以下步骤：

S21.假设点在图像中坐标的齐次表示为(u,v,1)，在激光点云中的齐次表示为P＝(X,Y,Z,1)，使用旋转和平移组成的坐标转移矩阵[R_3×3t_3×1]来表述点云到图像的映射关系；在图像和点云中人工选取不少于7组特征点，对每组特征点建立一组坐标转移方程：

s(u,v,1)^T＝[R_3×3t_3×1](X,Y,Z,1)^T(1.1)

S22.联立全部特征点的转移方程得到一组超定方程：

S23.求解该超定方程，得到坐标转移关系[R_3×3t_3×1]，即可完成PTZ摄像机姿态固定情况下与激光雷达的联合标定。

3.根据权利要求2所述的基于激光雷达和PTZ摄像机的目标追踪方法，其特征在于，所述的S5步骤中点云转换成稀疏深度图的方法为并进行特征融合的方法包括以下步骤：

S51.使用点云的映射在图像上时的Z轴坐标作为点的深度值，生成稀疏深度图；

S52.提取上述点云转换所得稀疏深度图和对应图像的HOG特征，并列整合后使用PCA降维，作为KCF算法的输入。

4.根据权利要求1至3任一项所述的基于激光雷达和PTZ摄像机的目标追踪方法，其特征在于，所述激光雷达为16线或32线激光雷达，所述摄像机为搭载于小型云台上支持上下左右移动并支持实时云台姿态查询的PTZ网络摄像机。

5.根据权利要求4所述的基于激光雷达和PTZ摄像机的目标追踪方法，其特征在于，图像特征提取方法使用的特征包括HOG特征，特征融合方法包括特征组合后使用PCA降维。

6.根据权利要求4所述的基于激光雷达和PTZ摄像机的目标追踪方法，其特征在于，目标追踪结果表示为目标在图像中的位置反馈以及PTZ摄像机的追随目标实时运动。