[发明专利]一种激光点云与视频的边端自动融合算法

说明书

本发明公开了一种激光点云与视频的边端自动融合算法。本发明中，目标检测模块和数据同步模块通过对图像进行目标检测获取目标所在区域，然后将点云投影到图像平面并剔除目标区域外的点云以降低数据量，再通过DBSCAN算法对点云进行聚类，从而提取目标真实点云以实现目标精准定位，提高了后续融合过程的精度，融合模块通过坐标系变换获得点云与图像数据的对应关系，并在考虑多模态数据一致性的前提下进行数据增广。而后，分别设计体素特征提取与图像特征提取流程，并对比分析了不同点云表示的检测性能，以论证本算法中体素编码策略的有效性。最后，在此基础上构建融合网络，通过融合网络性能提高了整体数据的融合精准度与融合效率。

技术领域

本发明属于激光点云技术领域，具体为一种激光点云与视频的边端自动融合算法。

背景技术

基于激光点云的目标检测算法也是一直以来的研究热点，其可分为传统算法和基于深度学习的算法。传统算法一般先进行地面点云滤除、滤波等操作，然后对点云进行空间聚类，从而确定各目标的位置。

但是常见的目标检测融合算法在计算过程中的精准度较低，使得使用时较为不便。

发明内容

本发明的目的在于：为了解决上述提出的问题，提供一种激光点云与视频的边端自动融合算法。

本发明采用的技术方案如下：一种激光点云与视频的边端自动融合算法，包括数据预处理模块、图像特征提取模块、目标定位算法模块、数据同步模块、目标检测模块、融合模块、时间同步模块和空间同步模块，所述数据预处理模块的输出端连接有所述图像特征提取模块的输入端，所述图像特征提取模块的输出端连接有所述目标定位算法模块的输入端，所述目标定位算法模块的输出端连接有所述数据同步模块的输入端，所述数据同步模块的输出端连接有所述目标检测模块的输入端，所述目标检测模块的输出端连接有所述融合模块的输入端。

在一优选的实施方式中，所述数据同步模块的内部设置有时间同步模块和空间同步模块，所述时间同步模块和空间同步模块的整体输出端连接有所述数据同步模块的输入端。

在一优选的实施方式中，所述数据预处理模块对点云与图像坐标系进行变换，所述数据预处理模块使用Kitti数据集提供矫正后的投影矩阵与旋转矫正矩阵，在此基础上，实现激光雷达坐标系到图像坐标系的变换。

在一优选的实施方式中，所述图像特征提取模块采用点云体素目标检测网络整体框架，所述图像特征提取模块先对输入点云进行体素化与特征编码，并经中间层将高度维压缩，而后通过主干网络提取特征，最后输出3D包围框的检测结果；体素特征编码需要首先对指定范围内的点云进行规则化，并完成对体素格子的抽象，然后通过3D卷积或将3D卷积转换为2D卷积形式进行计算以压缩高度维，最后通过2D卷积获得俯视角度的特征图。

在一优选的实施方式中，所述点云规则化构造范围为(D,H,W)，体素格子尺度为(VD,VH,VW)，体素维度为(D',H',W')，其中，D'＝D/VD，H'＝H/VH，W'＝W/VW，而后利用格子内的点信息对体素格子进行编码。点云数据规模庞大且分布不均匀，实际上，所构造的规则化体素格子绝大部分为空。另外，为降低后续计算量，规定非空格子的最大数量，首先剔除点数较少的体素格子，为优化计算效率，采用哈希表存储格子信息，完成对体素构建。而后对体素格子特征进行编码，规定体素格子点数为T，当实际点数超出T个时，通过随机采样仅保留T个点；当点数不足T个时，采用零向量补全。

在一优选的实施方式中，所述目标定位算法模块首先采集激光点云和图像数据，并对其进行数据同步；然后将去畸变后的图像使用YOLOv4进行目标检测，得到多个目标在图像坐标系中的位置、类别等信息；然后利用相机与激光雷达间的外参，将点云投影到图像平面上，并剔除图像中目标区域外的点云，完成点云与图像之间的数据融合；最后对图像目标区域内的少量点云进行聚类，提取目标的真实点云，从而获取目标准确的空间位置和距离，完成目标定位工作。