[发明专利]一种基于仿生视觉的智能车目标实时检测与定位方法

权利要求书

1.一种仿生视觉的智能车目标实时检测与定位方法，其特征在于，包括：

步骤S1、实时获取智能车的多目成像装置中各不同焦距镜头的图像；

步骤S2、检测每一镜头的图像中各目标的类别及位置信息；

步骤S3、以焦距最小的镜头的图像为基准图像，根据不同焦距镜头对应的物象空间齐次坐标系变换关系，将基准图像划分为共视区和非共视区；

步骤S4、针对每一图像的共视区，采用双目异焦距立体视觉重建方法对共视区中的目标进行三维重建定位，获得基准图像中共视区所有目标的三维定位信息及类别标签语义信息；

针对基准图像的非共视区，根据该图像所属摄像装置的第一视角划分上下左右四个区域，以透视网格划分的方式获取每一非共视区中目标的角度定位信息；

所述三维定位信息及类别标签语义信息和非共视区对应的角度定位信息构建用于智能车的具有语义信息的矢量地图；

所述步骤S4，包括：

S4-1、根据下述的两像面坐标关系式(A1)确定建立多目标图像的每一目标在各图像中坐标的一一映射关系；

α₁和α₂，β₁和β₂分别表示图像水平轴u和垂直轴v的尺度因子，也称为归一化焦距，l为基线距离；

S4-2、借助于多个分辨率和焦距不同的相机，并依据双目平行视觉模型，检测空间点M这个目标在三维空间的深度信息Z值；

具体地，空间点M的坐标(X,Y,Z)为：

其中，两相机镜头的焦距f₁、f₂以及基线距离l属于预先标定的参数，通过公式(A1)获取像素坐标的对应关系x₁、y₁和x₂、y₂；

S4-3、根据上述空间点M的三维坐标关系式(A2)在基准图像的共视区对检测目标进行重建，并标记检测目标区域的平均深度值。

2.根据权利要求1所述的方法，其特征在于，所述步骤S2包括：

采用YOLOv5目标实时检测算法检测每一镜头的图像中各目标的类别及位置信息；

和/或，所述目标包括：红绿灯、限速牌、行人、小动物、车辆或车道线；

所述类别及位置信息包括：目标在各图像中的位置信息、尺寸信息和类别信息。

3.根据权利要求1所述的方法，其特征在于，所述步骤S3包括：

在所述焦距镜头大于等于3个时，将不同焦距镜头划分为长焦距镜头和短焦距镜头；

针对短焦距镜头，以短焦距镜头中焦距最小镜头的图像作为基准图像一，将短焦距镜头中其他镜头视场角对应基准图像一的成像区间划分为共视区一和非共视区一；

针对长焦距镜头，以长焦距镜头中焦距最小的镜头的图像作为基准图像二，将长焦距镜头中其他镜头视场角对应基准图像二的成像区间划分为共视区二和非共视区二。

4.根据权利要求3所述的方法，其特征在于，所述步骤S4包括：

采用双目异焦距立体视觉重建方法，获取基准图像一中共视区一所有目标的三维定位信息及类别标签语义信息；

以透视网格划分的方式，获取基准图像一中非共视区一中各目标的角度定位信息；

采用双目异焦距立体视觉重建方法，获取基准图像二中共视区二所有目标的三维定位信息及类别标签语义信息；

以透视网格划分的方式，获取基准图像二中非共视区二中各目标的角度定位信息；

相应地，所述方法还包括步骤S5，

步骤S5包括：

将获取的所有三维定位信息及类别标签语义信息、所有的角度定位信息与多目成像装置中的三维点云数据进行融合，构建用于智能车的三维语义地图。