[发明专利]一种基于三维地图辅助的单目视频行人三维定位方法

权利要求书

1.一种基于三维地图辅助的单目视频行人三维定位方法，该方法包括：

步骤1：利用三维激光扫描仪获取不含待定位行人P_i的激光雷达点云C，然后利用场景部署的监控摄像头截取包含该目标P_i的单目视频图像F；

步骤2：分别用O_F-X_FY_FZ_F和O_C-X_CY_CZ_C表示单目视频图像F和激光雷达点云C的坐标系，采用直接线性变换算法实现相机标定，即从单目视频图像F和地面点云C中选取至少6对特征点，根据它们的2D-3D匹配关系按式(1)恢复相机的内方位元素矩阵A(u₀,v₀,f)

式(1)中(u₀,v₀)表示像主点坐标，f为焦距，E表示视频图像F获取瞬间的外方位元素矩阵，包含平移向量T和旋转矩阵R，(X_w,Y_w,Z_w)为待定位目标P_i的物方三维坐标，(u,v)是其像方二维坐标；

步骤3：利用YOLO目标检测器获取单目视频图像F中的行人P_i的二维检测框，即将整个图像作为网络的输入，同时预测目标区域及其类别，将行人检测框上边缘的中点t，即行人头部的位置和下边缘的中点b，即行人脚部的位置，作为标记点，分别用(u_t,v_t)，(u_b,v_b)表示其像素坐标；

步骤4：因激光扫描仪中的陀螺仪可保证点云坐标系中的Z轴始终垂直于地面，从激光雷达点云C中提取地平面，获取其竖直方向坐标值Z_g；

步骤5：对于仅出现在单目视频图像F中的待定位目标行人P_i，完成步骤2相机标定和姿态恢复后，将步骤4中提取的地平面竖直方向坐标值Z_g引入共线方程求取行人脚点b的三维坐标(X_b,Y_b,Z_b)：

其中a_i,b_i,c_i(i＝1,2,3)表示旋转矩阵R中的元素值，(X_S,Y_S,Z_S)表示平移向量T中的元素值；

步骤6：考虑到单目视觉定位的不适定性，求解过程中引入行人始终垂直于地面作为约束条件，计算待定位目标行人P_i的头部点t的重投影误差(Δu_t,Δv_t)：

上式中表示直接从视频图像F中检测得到的点t的像素坐标，则有：

相应地，公式(4)中的重投影误差可以表示为关于行人头部点t竖直方向坐标值Z_t的方程：

对式(7)进行矩阵运算计算未知数Z_t的改正数ΔZ_t，经过多次迭代，得到满足精度要求的点t三维坐标，获取行人P_i头和脚的三维坐标后，计算行人身高h：

步骤7：步骤6得到的(X_t,Y_t,Z_t)和(X_b,Y_b,Z_b)即为满足所设置的阈值条件下的待定位目标行人P_i的头和脚三维坐标，基于此即可确定视频动态目标所处位置。