[发明专利]基于视觉slam的监控视频人员定位跟踪方法及系统

权利要求书

1.一种基于视觉slam的监控视频人员定位跟踪方法，其特征在于，使用深度摄像头对环境进行三维重建，得到环境的点云地图；将外参标定结合到监控摄像头的场景下，通过标定板对监控摄像头进行外参标定，得到监控摄像头的位置和姿态信息；通过监控摄像头对人员进行跟踪，利用深度神经网络识别出监控图像中的人物，基于先前标定出的位置和姿态，采用逆透视变换的原理依据监控中出现的行人在地面上的先验计算出人物的三维位置，实现在已构建的点云地图中对人员轨迹进行绘制，并使其呈现在点云地图中。

2.根据权利要求1所述的基于视觉slam的监控视频人员定位跟踪方法，其特征在于，包括以下步骤：

S1、基于视觉slam的三维重建：构建场景的三维点云地图和记录外参标定所需的数据，将深度摄像头提供的RGBD图片流和惯性传感器数据，依据视觉里程计构建场景的三维点云地图并保存至文件中；在三维重建过程中，拍摄棋盘格标定板并记录此时相机的位置姿态；

S2、标定：监控摄像头拍摄一张棋盘格标定板的监控画面照片，结合步骤S1三维重建时提供的标定数据，计算出监控摄像头在三维点云地图中的位置与姿态；

S3、监控摄像头中行人的位置跟踪与计算：对人员进行跟踪，依据步骤S2得出的位置与姿态数据和监控摄像头提供的监控视频流，识别出图像中人物的位置并给出该人物在三维点云地图中的位置；

监控摄像头中行人的位置跟踪与计算方流程为：

S31、依据自身监控摄像头的种类和是否发生过移动选择是否进入姿态校正流程，是则进入步骤S32，否则进入步骤S33；

S32、若进入姿态校正流程，提取图像中的消失点并比对消失点位置，依据消失点是否移动判定监控画面是否发生旋转，更新旋转；

S33、进入定位流程，首先取一帧监控视频图像；

S34、对图像中的行人进行目标检测，获得目标框坐标；

S35、对检测到的目标框进行目标跟踪，给出其对应的人员位置坐标；

S36、依据监控摄像头的标定参数计算人员的空间位置坐标；

S37、如果不终止定位，则获取下一帧图像并返回步骤S33，否则结束。

3.根据权利要求2所述的基于视觉slam的监控视频人员定位跟踪方法，其特征在于，步骤S1场景的三维点云地图的构建过程增加点云地图处理线程，用于接受传入的每一帧相机的位姿信息和RGBD图像帧，输出准确的点云地图，具体流程如下：

S141、对传入的每一帧深度摄像头的位姿信息和RGBD图像帧进行筛选，当前帧与上一个已选取帧之间的相机角度变化大于10°且位移变化大于2米时，选择当前帧，进行后续点云地图生成操作；

S142、计算当前帧的点云块，并将其旋转至统一的世界坐标系下；

S143、对所有帧生成的点云块进行拼接合并，得到整体的点云地图，对点云地图做滤波与去除离群点的处理，以压缩点云地图的数据量，同时优化地图的视觉观感；

S144、当在建图过程中发生回环时，ORB-SLAM3重新优化已选取帧的位姿，将点云重新拼接，并按照步骤S143重新做点云处理操作。

4.根据权利要求2所述的基于视觉slam的监控视频人员定位跟踪方法，其特征在于，步骤S2外参标定方法为：

S21、监控摄像头拍摄标棋盘格标定板：选择世界坐标系的原点位置，监控摄像头从原点位置开始慢慢向棋盘格标定板方向移动，在这个过程中使用ORB_SLAM3实时对监控摄像头的位姿进行估计，当监控摄像头移动到棋盘格标定板前方时，关闭程序，保存当前监控摄像头所拍摄的照片以及相机的位姿；

S22、监控摄像头内参标定：将棋盘格标定板置于监控摄像头范围内，多角度移动棋盘格标定板，录制一段视频，抽取视频中的帧，识别出棋盘格，使用张正友标定法标定出监控摄像头的内参和畸变；

S23、监控摄像头外参标定：根据目标特征点的实际三维位置信息以及目标特征点在图像中的二维位置，采用直接线性变换的方法，求解相机坐标系与目标坐标系，实现监控摄像头与三维点云地图之间的相对位置关系的计算。