[发明专利]一种基于信息融合的单目行人3D定位的方法

说明书

本发明提出了一种基于信息融合的单目行人3D定位方法。本方法提出将复杂的行人定位问题进行分解，得到三部分，即模糊定位、深度信息重构和基于信息融合的定位优化。具体来说，首先，在模糊定位阶段，从原始图像中获取人体骨骼关键点，根据三角相似定理得到行人模糊位置；其次，在深度信息重构阶段，原始图像在一个并行网络中通过深度估计和语义分割得到带有深度信息的鸟瞰图；最后，通过基于信息融合的定位优化方法进行精准定位。这种方法可以得到行人精确的位置。在KITTI数据集上的实验结果也表明此方法的优越性。

技术领域

本发明涉及定位技术领域，更具体地说，涉及一种单目行人定位方法。

背景技术

3D目标定位是计算机视觉领域一项重要研究，其主要任务包括目标识别与定位。这一技术在自动驾驶和机器人感知领域中存在广泛应用。自动驾驶通常采用激光雷达传感器实现目标检测，其生成的点云具有较高的精度。但是激光雷达成本高且生成的点云过于稀疏，目前多是使用多传感器信息融合的方式进行检测，单目摄像头和激光雷达传感器相结合是可行的方式。虽然单目摄像头无法直接提供深度信息，但相比于激光雷达，单目摄像头具有易装配、成本低，且可以通过形成的深度图转化出密集的伪雷达点云信息，在自动驾驶领域具有良好的应用前景。

单目3D定位技术在近年来取得了许多进展，尤其是在自动驾驶领域。但是在单目3D行人目标定位方面存在两方面困难：一是单目图像难以直接获取深度信息；二是行人是非刚性目标，体态不一，相比于刚性的汽车目标来说定位更加困难。

常用的做法是将单目图像输入到深度估计网络中得到单目深度图，然后，使用单目深度图像和原始图像根据相机固定矩阵得到伪雷达点云，最后将伪雷达点云输入到基于LiDAR的检测方法中进行3D目标检测，这类方法在车辆定位上具有较好的结果，但是并未针对行人目标进行研究。同样有研究者通过基于拉普拉斯分布的损失函数来预测行人的模糊位置和不确定性置信区间，虽然将模糊问题进行量化，但是没有进一步对行人进行精准定位。

总而言之，目前针对行人目标的定位研究较少，针对行人目标定位的研究并未讨论进一步的精准定位。

发明内容

为了解决现有技术的不足，本发明提供了一种基于信息融合的单目行人3D定位的方法。

本发明的具体技术方案如下：

一种基于信息融合的单目行人3D定位的方法，将行人模糊位置信息与行人深度信息进行融合，得到精确的行人定位，包括以下步骤：

步骤一：输入原始图像，从原始图像中获取人体骨骼关键点，选取关键点通过三角相似定理得到行人模糊位置；

步骤二：并行输入原始图像，分别进行语义分割和深度估计，得到原始图像的深度图和标有行人信息的语义分割图；将得到的深度图和语义分割图通过相机内参矩阵得到伪雷达点云，最后将伪雷达点云进行鸟瞰映射得到带有行人深度信息的鸟瞰图；

步骤三：将步骤一得到的行人模糊位置和步骤二得到的鸟瞰图进行融合定位，即先通过基于基尼指数的图像卷积进行初步细化定位，然后通过聚类方法得到精确的行人位置。

优选地，步骤一具体包括以下步骤：

假设行人均直立站立，且相机参数已知，通过人体骨骼关键点方法得到人体骨骼关键点坐标后提取肩-臀像素数，使用人类平均肩-臀长度再根据相机小孔成像模型得到行人与镜头相对距离，相对距离结合相机内参即可得到行人的模糊定位(x,z)，其中x为距离摄像头左右距离，z为距离摄像头前后距离；

根据行人的模糊定位(x,z)计算行人与相机位置的相对角度θ：

优选地，步骤二具体包括以下步骤：

步骤(a)：通过单目深度估计网络得到原始图像的深度图；