[发明专利]一种基于信息融合的单目行人3D定位的方法

权利要求书

1.一种基于信息融合的单目行人3D定位的方法，其特征在于，将行人模糊位置信息与行人深度信息进行融合，得到精确的行人定位，所述方法包括如下步骤：

步骤一：输入原始图像，从原始图像中获取人体骨骼关键点，选取关键点通过三角相似定理得到行人模糊位置、行人与摄像机位置的相对角度，以行人模糊位置为中心设置一个行人可能存在的区域；

步骤二：并行输入原始图像，分别进行语义分割和深度估计，得到原始图像的深度图和标有行人信息的语义分割图；将得到的深度图和语义分割图通过相机内参矩阵得到伪雷达点云，最后将伪雷达点云进行鸟瞰映射得到带有行人深度信息的鸟瞰图；

步骤三：将步骤一得到的行人模糊位置、行人与摄像机位置的相对角度以及划定的行人可能存在区域，与步骤二得到的带有行人深度信息的鸟瞰图进行融合定位，得到融合信息图像，然后通过基于基尼指数的图像卷积进行初步细化定位，再通过聚类方法得到精确的行人位置。

2.根据权利要求1所述的基于信息融合的单目行人3D定位的方法，其特征在于：步骤一中，假设行人均直立站立，且相机参数已知，通过人体骨骼关键点方法得到人体骨骼关键点坐标后提取肩-臀像素数，使用人类平均肩-臀长度再根据相机小孔成像模型得到行人与镜头相对距离，相对距离结合相机内参即可得到行人的模糊定位(x,z)，其中x为距离摄像头左右距离，z为距离摄像头前后距离；

根据行人的模糊定位(x,z)计算行人与相机位置的相对角度θ：

3.根据权利要求1所述的基于信息融合的单目行人3D定位的方法，其特征在于：步骤二中伪雷达点云的生成包括如下三个步骤:

步骤(a)：通过单目深度估计网络得到原始图像的深度图；

步骤(b)：通过语义分割方法将行人目标在原图中标记出来，得到带有行人信息的语义分割图；

步骤(c)：通过深度图和相机的固定矩阵计算出每个像素点i对应的像素坐标[u_i,v_i]在相机坐标中的3D位置(X_i,Y_i,Z_i)。

其中Z_i是单目深度估计中对应点的深度，c_x,c_y是相机中心对应的像素位置，f_x,f_y是相机在x轴和y轴上对应的焦距，再根据相机的外接矩阵就可以得到图像中像素对应的世界坐标(X_i,Y_i,Z_i)；

4.根据权利要求1所述的基于信息融合的单目行人3D定位的方法，其特征在于：步骤三中包括如下两个步骤：

步骤(d)：将步骤一得到的行人模糊位置、行人与摄像机位置的相对角度以及划定的行人可能存在区域，与步骤二得到的带有行人深度信息的鸟瞰图进行融合，得到融合信息图像，再通过图像卷积的方式进一步细化行人可能存在区域，其中卷积核的尺寸基于基尼指数来自适应选取，基尼指数可以判断尺寸选择的是否合适；

基尼指数定义如下所示：

其中Y＝255,k表示灰度级，P_k表示取值为k的像素点占总像素数的比例；

步骤(e)：对细化定位图像采用聚类方法进行校正定位，得到行人的精确位置。