[发明专利]一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法

权利要求书

1.一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法，其特征在于，所述方法包括：

S10，特征提取：利用卷积神经网络分别提取目标的摄像头图像和激光雷达投影图的图像特征，得到对应摄像头图像的第一图像特征和对应激光雷达投影图的第二图像特征；

S20，自适应强化融合：将所述第一图像特征和所述第二图像特征输入到一个权重网络，自适应地分配第一图像特征和第二图像特征的权重，根据分配的第一权重对第一图像特征加权得到第三图像特征，根据分配的第二权重对第二图像特征加权得到第四图像特征，对第三图像特征和第四图像特征进行强化融合，得到融合后的图像特征；

S30，网络输出：根据所述融合后的图像特征，利用实时实例分割网络输出目标的类别、置信度、边界框、掩模，获取目标的实例分割结果；

其中，所述特征提取具体包括：

S11，将目标的摄像头图像和激光雷达点云时间同步：

由时间同步算法获取与当前激光雷达帧的最近的摄像头图像帧，得到时间同步后的摄像头图像帧和激光雷达点云帧；

S12，生成激光雷达投影图：

根据激光雷达坐标系到摄像头坐标系的外参矩阵M_e，以及摄像头的内参矩阵M_i，激光雷达点云的某一点(X Y Z)可以由下式投影到摄像头图像上，对应的坐标为(u v)：

z·(u v 1)^T＝M_i·M_e·(X Y Z)^T

式中，z表示摄像头图像坐标系下的该点的深度；

在投影时过滤掉摄像头图像视场外的点云，并用深度z或由对应的反射率值r填充(uv)的像素值，得到激光雷达点云深度投影图作为激光雷达投影图；

S13，提取摄像头图像和激光雷达投影图的图像特征：

将时空一致的摄像头图像和激光雷达深度投影图作为特征提取网络的输入，利用所述特征提取网络分别提取对应摄像头图像的第一图像特征和对应激光雷达投影图的第二图像特征其中，C、H和W分别代表特征图的通道数、高度和宽度；

其中，所述自适应强化融合具体包括：

S21，自适应权重分配：

将所提取的第一图像特征和第二图像特征作为自适应强化融合网络的输入；首先将和沿通道C方向拼接，得到拼接特征图然后利用C个2C×1×1卷积核将维度减小为C，得到权重特征图最后利用sigmoid层将归一化，得到最终的权重系数矩阵其中分别对第一图像特征和第二图像特征进行权重分配，得到加权后的第三图像特征和第四图像特征

式中，⊙代表Hadamard乘积；

S22，加权特征强化融合：

逐元素比较加权第三图像特征和第四图像特征取其中的较大值组成特征矩阵f_p；计算的均值m，令均值矩阵所有元素都为m；并按照下式逐元素对和进行强化融合：

式中，为强化系数。

2.根据权利要求1所述的方法，其特征在于，所述第一图像特征和第二图像特征为多尺度的高层语义特征。

3.根据权利要求1所述的方法，其特征在于，所述实时实例分割网络使用YOLACT++中的预测网络。

4.根据权利要求1所述的方法，其特征在于，所述激光雷达线束不小于40线。

5.根据权利要求1所述的方法，其特征在于，所述特征提取网络使用ResNet-50作为基础网络，并利用特征金字塔网络提取多尺度的高层语义信息。

6.根据权利要求1所述的方法，其特征在于，所述加权特征强化融合中的强化系数为：