[发明专利]一种基于三维地图辅助的单目视频行人三维定位方法

说明书

本专利公开了一种基于三维地图辅助的单目视频行人三维定位方法：首先，获取包含待定位动态行人的单目视频图像以及视频域范围内的激光雷达点云；其次，通过提取与匹配单目视频图像与激光雷达点云中的特征点，恢复视频相机的位置、姿态和内方位元素；再次，对该视频图像里的待定位行人进行二维检测获取目标特征点像素坐标值，同时对目标所处场景的点云数据进行处理提取地平面，获取地平面在激光雷达坐标系竖直方向上的坐标值；然后，将目标行人始终垂直于地平面这一约束条件引入共线方程，基于上述过程得到的准备数据构建联合求解方程，恢复视频行人特征的三维坐标及身高信息。

技术领域

本发明属于目标追踪领域，特别是涉及到一种基于三维地图辅助的单目视频行人三维定位方法。

背景技术

动态目标三维定位在智能交通、灾害应急服务、数字城市、公共疫情防控等领域都具有很好的实用价值。当前，目标三维定位主要依赖全球定位系统(Global PositioningSystem,GPS)，但在高大、密集建筑群或密闭空间中(如室内、隧道、地下停车场等)易受多路径效应及信号遮挡等因素影响导致定位失准。近年来无线定位技术，如超宽带(Ultra-WideBand,UWB)、无线网络(WIFI)、蓝牙和红外等也引起广泛关注，但其定位过程对外部条件依赖较大，成本较高、普适性差。

在过去的几十年，基于视觉和基于激光雷达的目标定位方法相继提出，并得到了广泛关注。立体视觉的定位技术相对成熟，但主要集中在车辆的三维位置估计上，而行人的身高和体形各不相同，导致缺乏足够的属性信息。传统的行人三维定位方法大多依赖于场景或行人的已知信息来，例如利用医学统计得到的身高与身体部位、步幅的关系来定位行人；或利用物理约束，通过简单的运动轨迹分析，如跳跃或奔跑，将像素测量值转换为人体高度。该类方法利用其他度量间接获得行人的三维位置，可能导致误差传播。此外，数码相机、激光雷达、无线传感器、惯性陀螺仪等传感器也可作为数据采集平台，同时获取图像数据和地理位置数据，构建三维地图实现多传感器融合定位。然而，这些方法高度依赖于设备或场景条件，不容易集成到所有公共场所。近年来，众多学者尝试利用人工智能的方法解决行人三维定位问题，提出了不同的神经网络结构，用于立体成像、定位或估计人体三维姿态。然而，在这些研究中依赖大量数据集进行训练且大多假设行人高度相同，会导致存在固有的定位误差，精度难以满足要求。

综上基于视觉的技术可以捕捉详细的姿态和纹理属性，但受限于每个空间点有且仅有一条透视投影直线与之对应，缺乏深度信息，需要额外信息实现二维到三维坐标的转换。在此背景下，我们提出了一种实现三维定位的有效替代方案，使用地面激光雷达捕捉三维地图来估计单目相机的参数。行人虽是动态目标但总是垂直于地面，所以我们能够确定其三维位置。该方法旨在解决平面定位的局限性，提高传统摄影测量在三维空间中的应用。

本发明考虑在一般情况下，针对上述单目视频动态目标三维定位存在的问题，提出了一种基于三维地图辅助的单目视频行人三维定位方法。该方法实现思路为：首先利用三维地图对单目视频图像进行标定以恢复相机参数，然后完成行人检测得到包括行人头脚位置的二维边界框，之后从单目视频的对应点云数据中提取地平面竖直方向坐标值，利用行人身体始终垂直于地面这一固有条件实现行人三维定位。本发明不依赖特殊标定物或训练数据集，不限制场景几何条件，计算过程简单高效，可获得比其他方法更准确的定位结果，还能恢复行人较为准确的身高值，同时具有理论和现实意义。

三、发明内容

(一)解决的技术方案

本发明的目的是对单目视频中的行人进行三维定位。考虑到实际场景中可能并没有可利用的几何约束，此时基于单目视频确定运动目标到摄像机的距离存在困难。针对该问题，本发明设计了一种基于三维地图辅助的单目视频行人三维定位方法，首先对视频域场景采集点云数据构建三维地图，然后利用特征匹配进行相机标定获取单目视频图像的内外方位元素，继而对包含待定位动态目标的单目视频图像进行行人检测获取行人框的像素坐标值，同时基于该视频场景的地面点云数据获取地平面竖直方向坐标，将行人始终垂直于地面这一固有条件引入共线方程，基于此对目标特征点进行联合平差求取三维位置。