[发明专利]一种激光点云与视频的边端自动融合算法

权利要求书

1.一种激光点云与视频的边端自动融合算法，包括数据预处理模块(1)、图像特征提取模块(2)、目标定位算法模块(3)、数据同步模块(4)、目标检测模块(5)、融合模块(6)、时间同步模块(7)和空间同步模块(8)，其特征在于：所述数据预处理模块(1)的输出端连接有所述图像特征提取模块(2)的输入端，所述图像特征提取模块(2)的输出端连接有所述目标定位算法模块(3)的输入端，所述目标定位算法模块(3)的输出端连接有所述数据同步模块(4)的输入端，所述数据同步模块(4)的输出端连接有所述目标检测模块(5)的输入端，所述目标检测模块(5)的输出端连接有所述融合模块(6)的输入端。

2.如权利要求1所述的一种激光点云与视频的边端自动融合算法，其特征在于：所述数据同步模块(4)的内部设置有时间同步模块(7)和空间同步模块(8)，所述时间同步模块(7)和空间同步模块(8)的整体输出端连接有所述数据同步模块(4)的输入端。

3.如权利要求1所述的一种激光点云与视频的边端自动融合算法，其特征在于：所述数据预处理模块(1)对点云与图像坐标系进行变换，所述数据预处理模块(1)使用Kitti数据集提供矫正后的投影矩阵与旋转矫正矩阵，在此基础上，实现激光雷达坐标系到图像坐标系的变换。

4.如权利要求1所述的一种激光点云与视频的边端自动融合算法，其特征在于：所述图像特征提取模块(2)采用点云体素目标检测网络整体框架，所述图像特征提取模块(2)先对输入点云进行体素化与特征编码，并经中间层将高度维压缩，而后通过主干网络提取特征，最后输出3D包围框的检测结果；体素特征编码需要首先对指定范围内的点云进行规则化，并完成对体素格子的抽象，然后通过3D卷积或将3D卷积转换为2D卷积形式进行计算以压缩高度维，最后通过2D卷积获得俯视角度的特征图。

5.如权利要求4所述的一种激光点云与视频的边端自动融合算法，其特征在于：所述点云规则化构造范围为(D,H,W)，体素格子尺度为(VD,VH,VW)，体素维度为(D',H',W')，其中，D'＝D/VD，H'＝H/VH，W'＝W/VW，而后利用格子内的点信息对体素格子进行编码；为优化计算效率，采用哈希表存储格子信息，完成对体素构建；而后对体素格子特征进行编码，规定体素格子点数为T，当实际点数超出T个时，通过随机采样仅保留T个点；当点数不足T个时，采用零向量补全。

6.如权利要求1所述的一种激光点云与视频的边端自动融合算法，其特征在于：所述目标定位算法模块(3)首先采集激光点云和图像数据，并对其进行数据同步；然后将去畸变后的图像使用YOLOv4进行目标检测，得到多个目标在图像坐标系中的位置、类别信息；然后利用相机与激光雷达间的外参，将点云投影到图像平面上，并剔除图像中目标区域外的点云，完成点云与图像之间的数据融合；最后对图像目标区域内的少量点云进行聚类，提取目标的真实点云，从而获取目标准确的空间位置和距离，完成目标定位工作。

7.如权利要求1所述的一种激光点云与视频的边端自动融合算法，其特征在于：所述时间同步模块(7)选用了车规级千兆多媒体串行链路相机和非重复扫描式激光雷达作为实验用传感器。

8.如权利要求1所述的一种激光点云与视频的边端自动融合算法，其特征在于：所述空间同步模块(8)采用张氏标定法对相机内参进行标定，获取相机的内参矩阵；通过在图像和点云中选取共视点，并对共视点间的转换矩阵进行最优估计，从而完成相机与激光雷达的外参标定，获取激光雷达到相机的外参。

9.如权利要求1所述的一种激光点云与视频的边端自动融合算法，其特征在于：所述目标检测模块(5)选用YOLOv4作为图像的目标检测算法，并在部署时采用统一计算设备架构和深度学习推导优化器对算法中的神经网络推导进行加速，以提高目标检测的实时性。

10.如权利要求1所述的一种激光点云与视频的边端自动融合算法，其特征在于：所述融合模块(6)的融合流程如下：首先，训练2D图像中的目标检测网络，该网络的检测头相关部分在后续的特征融合中不会被采用，此处的检测头仅仅为方便图像特征提取对应的主干网络的预训练；而后，对点云数据进行体素化，获取点云的体素特征编码，并将非空体素格子中心投影到图像中，根据体素格子与相平面的距离确定候选区域的尺寸，设定候选区域最小为64×64像素；再分别通过最大值池化与均值池化将体素格子对应的图像区域特征压缩到长度与图像特征图通道数一致的一维向量；通过1×1的卷积核改变体素格子对应的图像特征通道数后，将图像特征与体素特征相连接，再次通过1×1的卷积核改变特征通道数，并实现图像与体素特征的聚合；接着参照点云目标检测基本框架，通过中间层去除高度维，并通过主干网络完成特征提取，最终通过3D目标检测头输出检测结果；在训练过程中，需要冻结图像特征提取层，训练整体网络；采用修正线性单元作为激活函数，相应采用He初始化。