[发明专利]一种单目车库语义建图尺度恢复方法

权利要求书

1.一种单目车库语义建图尺度恢复方法，其特征在于，包括以下步骤：

S1、根据相机外参，对原图像进行鸟瞰图变换，得到对应的鸟瞰图；

S2、在鸟瞰图上检测库位角点；

S3、在库位角点对应的前视图上，为库位角点添加描述子；

通过描述子对连续图像进行库位角点关联，并根据单目建图已有的定位信息，对关联的库位角点进行三角化处理，获得每一个库位角点的3D位置；

S4：根据轨迹与库位角点的相对位置，恢复全局尺度。

2.根据权利要求1所述的一种单目车库语义建图尺度恢复方法，其特征在于，所述步骤S1具体包括以下步骤：

S11、根据已知的相机外参，并通过假设的虚拟鸟瞰相机，结合车辆坐标系，求解单应性变换矩阵

S12、利用单应性变换矩阵对原图像进行变换处理，得到对应的鸟瞰图。

3.根据权利要求2所述的一种单目车库语义建图尺度恢复方法，其特征在于，所述步骤S11具体包括以下步骤：

S111、假设虚拟鸟瞰相机的内参与已知的相机内参相同，且设定虚拟鸟瞰相机的z方向与车辆坐标系的z方向平行、方向相反；虚拟鸟瞰相机的x方向与车辆坐标系的x方向相同；虚拟鸟瞰相机的y方向车辆坐标系的y方向平行、方向相反；

S112、根据虚拟鸟瞰相机与车辆坐标系的相对位置，分别计算出虚拟鸟瞰相机外参的旋转矩阵和平移向量

S113、根据虚拟鸟瞰相机与已知相机分别相对于车辆坐标系的位置，计算虚拟鸟瞰相机与已知相机之间的外参

S114、确定出虚拟鸟瞰相机坐标系中的平面方程，以求解得到单应性变换矩阵

4.根据权利要求3所述的一种单目车库语义建图尺度恢复方法，其特征在于，所述单应性变换矩阵具体为：

n＝(0 0 -1)^T

d＝h

其中，K₁为已知相机的内参，K₂为虚拟鸟瞰相机的内参，n、d是虚拟鸟瞰相机坐标系的平面参数，h为虚拟鸟瞰相机的高度，和为已知相机的外参。

5.根据权利要求1所述的一种单目车库语义建图尺度恢复方法，其特征在于，所述步骤S2具体包括以下步骤：

S21、基于目标检测网络Center-Net的架构，通过数据训练，构建得到库位角点检测网络；

S22、利用库位角点检测网络对鸟瞰图进行检测，对检测结果进行筛选和非极大抑制处理，得到库位角点。

6.根据权利要求5所述的一种单目车库语义建图尺度恢复方法，其特征在于，所述库位角点检测网络使Hourglass网络作为特征提取层，有两个输出头，两个输出头中一个输出的是单通道热力图，用来探测角点可能位于哪一个区域；另一个输出的是双通道的相对位置图，用于表示横纵坐标上的偏差，以恢复精确位置。

7.根据权利要求4所述的一种单目车库语义建图尺度恢复方法，其特征在于，所述步骤S3具体包括以下步骤：

S31、通过逆变换处理，将每一个库位角点分别逆变换至前视图；

S32、从前视图提取每一个库位角点对应的描述子，通过描述子对连续图像进行库位角点关联，结合已知的轨迹，对关联的库位角点做三角化，获得每一个库位角点的3D位置。

8.根据权利要求7所述的一种单目车库语义建图尺度恢复方法，其特征在于，所述步骤S31具体是采用逆变换矩阵对库位角点进行逆变换处理：

其中，为库位角点，为逆变换矩阵，为库位角点逆变换至前视图的结果。