[发明专利]一种基于图像点云融合的高精度交通要素目标提取方法

权利要求书

1.一种基于图像点云融合的高精度交通要素目标提取方法，其特征在于，所述方法包括：

步骤1，根据图像和点云数据的特征进行图像和点云数据的配准，根据配准结果利用所述图像对对应的点云数据进行属性赋值后得到融合数据；

步骤2，根据电子地图中的交通要素的特征的独立性进行分类，对所述图像进行基于深度学习的训练得到各个分类的目标检测模型，利用各个所述检测模型对所述图像进行各个交通要素的检测，对标识交通要素的点云数据进行保存；

步骤3，利用语义分割网络对所述图像中的所述交通要素进行目标语义分割，将所述图像的分割的结果映射到所述点云数据，提取得到交通要素目标；

所述步骤1包括：

步骤101：利用深度学习检测网络对所述图像的RGB数据以及点云数据的高精度交通要素进行提取；

步骤102：利用同名点配准方法对所述RGB数据和点云数据的相同特征目标进行高精度的匹配，利用所述RGB数据对对应的点云数据进行属性赋值，将所述深度学习检测网络预测得的交通要素属性信息和位置信息保存在指定文件中；

所述配准方法包括：

步骤10201，选择所述图像和点云数据上的多个特征，构建多个同名特征对；

步骤10202，根据所述图像获取时刻POS，并将所述同名特征对的绝对坐标转换至载体坐标；

步骤10203，根据相机的外参数初值，将所述同名特征对的载体坐标转换为相机坐标；

步骤10204，根据相机的内标定参数，获取所述同名特征对的相片上的坐标，计算残差值；

步骤10205，根据共线方程原理，使用最小二乘平方差间接求解相机外参数，在满足精度要求时判定完成配准；

所述步骤1之后还包括：基于传统机器学习的图像处理算法，对破损或被遮挡的所述交通要素进行判断和处理，并对每个所述交通要素精度过程进行赋值；

所述步骤2中对所述交通要素进行分类的类别包括：标识牌、杆件、和交通信号灯；

将训练集中的所述图像转化为灰度图片后送入到模型进行训练，得到最优的所述目标检测模型后，利用该最优的所述目标检测模型对图像进行检测，将检测到的标识牌、杆件、和交通信号灯目标进行保存；

所述步骤2中对所述交通要素对应的点云数据进行保存的过程包括：根据所述检测到的图像中的各个交通要素的轨迹点的位置信息，将所述轨迹点的位置信息对应的点云数据进行保存；

所述步骤1之后还包括：利用基于深度学习的关键点检测算法，对电子地图中的结构数据的角点坐标信息进行提取以及对道路上的增加减区域进行检测。

2.根据权利要求1所述的方法，其特征在于，所述步骤102还包括标志牌去重：

以目标检测的IOU评价指标来判断前后轨迹点图像的目标是否属于同一目标，利用卡尔曼滤波器预测图像中交通要素的当前位置，然后通过匈牙利算法关联检测框的目标，将多个前后轨迹点的同一个目标进行去除，保留最大视野的目标图像。

3.根据权利要求1所述的方法，其特征在于，所述步骤3之后还包括：

根据所述点云数据的强度信息和位置信息来移动轮廓点精确的位置，对所述点云数据的所述交通要素进行精提取。