[发明专利]一种车载边缘场景下的三维目标感知方法

说明书

本发明公开了一种车载边缘场景下的三维目标感知方法，利用点云投影和二维图像融合，实现了车载系统下的三维目标感知与跟踪；本方法在并行计算的算法优化下，对点云图像数据进行滤波和分割操作，然后进行点云分类和特征值提取，再结合二维图像，将点云投影至二维图像上聚类，最终结合前后帧相关数据进行信息点的匹配、目标的联系，达到匹配跟踪的效果。该方法同时解决了如何通过激光雷达和摄像机返回图像结合进行目标识别以及部署在较小的终端设备上的问题，将本发明的方法应用在车载设备上后，取得了精准识别跟踪效果，有较高的泛化性和实时性。

技术领域

本发明涉及智能识别和多传感器融合的车载领域，具体涉及一种车载边缘场景下的三维目标感知方法。

背景技术

近年来，随着汽车保有量的不断增长，许多城市的道路承载能力已达到满负荷，交通安全、出行效率、节能减排日益突出，车辆的智能化和网络化通常被认为是解决上述交通问题的重要途径。

随着人工智能与计算机视觉的发展日趋成熟，在车联网架构的感知层或传感器上的许多实际应用中，目标检测和目标跟踪等的视觉任务需求剧增。同时，无人驾驶领域中多模态数据融合的目标检测技术的研究兴起，为了实现高精度的目标检测，主要需要考虑两方面内容，一是车载传感器稳定性，二是单一模态数据提取的缺陷。针对第一方面，目前主要采用单目，双目和多线激光雷达进行三维目标检测。随着激光雷达工业的不断发展，其成本也在不断降低。针对第二方面，近年来不断有针对多模态的目标检测方法被提出。目前与本发明最相似的实现方案是基于传统融合理论的点云融合方法，在传统方法领域，主要利用卡尔曼滤波、贝叶斯滤波等方法。

但现有的点云感知方法在点云聚类上存在以下问题：

1.点云聚类常常依赖于人为设计的特征和经验规则，如设置一些阈值、表面法线等。以点云聚类中常用的欧几里得聚类方法为例，该方法主要是基于KD树实现的，在调用欧几里得聚类方法时需要人为设定KD树的近邻搜索半径，以及一个聚类的点数目范围。这就导致在复杂车载环境下该聚类方法可能失效，泛化性差。

2.传统的点云感知方法需要多阶段的处理流程，可能产生复合型错误，即聚类和分类没有建立在一定前后联系基础上，目标信息缺失。同时，多阶段的处理流程耗时较长，三维目标检测实时性较差，难以适应自动驾驶等速度需求高的场景，决策的快速性及准确性较差。

发明内容

本发明的目的是提供一种车载边缘场景下的三维目标感知方法，用以解决现有的传统点云感知方法泛化性差，目标信息易缺失的问题，提高检测实时性及跟踪精度。

为了实现上述任务，本发明采用以下技术方案：

一种车载边缘场景下的三维目标感知方法，包括以下步骤：

通过车载激光雷达和摄像机采集实时路况信息获得点云数据和二维图像，同时对车载激光雷达、摄像机进行标定；

对点云数据进行滤波分割，并分割点云地面，然后将点云投影到所述二维图像上进行融合，其中二维图像像素点通过如下公式变换：

其中，μ为像素坐标系的横坐标、γ为像素坐标系的纵坐标、c_x为横向平移量、c_y为纵向平移量、X_w、Y_w、Z_w分别为世界坐标系的坐标、R为世界坐标系旋转参数、t为世界坐标系平移参数、K为摄像机内参矩阵、T为摄像机外参矩阵，f_x＝αf，f_y＝βf，α为水平方向缩放倍数，β为竖直方向缩放倍数，f为摄像机焦距；

利用神经网络对融合后的二维图像进行目标检测和物体分类，并得到对应物体的边界框，通过判断边界框内是否存在点云进而对物体进行聚类划分，如果边界框的ROI区域内存在点云点则将其中的点归为一类，从而获取不同目标的三维点云图像；