[发明专利]一种深度多模态跨层交叉融合方法、终端设备及存储介质

权利要求书

1.一种深度多模态跨层交叉融合方法，所述方法包括：

获取包含车道线的RGB图像和点云数据，并进行预处理；

将预处理后的RGB图像和点云数据输入预先构建和训练好的语义分割模型，输出图像分割结果；所述语义分割模型用于实现RGB图像和点云数据的跨层交叉融合；

所述语义分割模型为由点云分支和图像分支组成的SkipCrossNet模型，该模型划分为三个融合单元：

第一融合单元，用于对点云数据和RGB图像进行交叉融合；

第二融合单元，用于进行点云Encoder阶段的特征与图像Encoder阶段的特征融合；和

第三融合单元，用于进行点云Decoder阶段的特征与图像Decoder阶段的特征融合。

2.根据权利要求1所述的深度多模态跨层交叉融合方法，其特征在于，所述RGB图像通过安装在行驶车辆上的前向单目相机或前向单目摄像头获得；该RGB图像包括行驶车辆的行车方向正前方和路面上方的路面图像信息；所述点云数据通过安装在行驶车辆上激光雷达获得；RGB图像和点云数据是同步采集的。

3.根据权利要求1所述的深度多模态跨层交叉融合方法，其特征在于，所述第一融合单元的具体实现过程为：

图像对点云的融合为：

Lidar_f＝R₀*RGB+Lidar

其中，Lidar为获取的点云数据，RGB为获取的RGB图像，Lidar_f为融合之后的点云数据，R₀为融合参数；

点云对图像的融合为：

RGB_f＝L₀*Lidar+RGB

其中，RGB_f为融合之后的图像，L₀为融合参数；

将Lidar_f和RGB_f输出至第二融合单元。

4.根据权利要求3所述的深度多模态跨层交叉融合方法，其特征在于，所述第二融合单元包括N个融合阶段；第一融合阶段的输入为：第一融合子单元输出的Lidar_f和RGB_f；第i融合阶段的输入为第i-1融合阶段的输出；第N融合阶段的输出为第三融合单元的输入；每个融合阶段的融合次数预先设定；

当一个融合阶段的融合次数为M时，该融合阶段的具体实现过程为：

对于点云分支，将Lidar Block的第一层特征与RGB Block的第一层特征进行融合：

Lidar_L_E_Feature₂＝S₁₁*RGB_L_E_Feature₁+Lidar_L_E_Feature₁

其中，Lidar_L_E_Feature₂表示Lidar Block的第二层特征，Lidar_L_E_Feature₁表示Lidar Block的第一层特征，即输入该融合阶段的点云特征；RGB_L_E_Feature₁表示RGBBlock的第一层特征，即输入该融合阶段的图像特征，S₁₁表示RGB Block的第一层特征与Lidar Block的第一层特征的融合参数；

当2≤m≤M-1时，将Lidar Block的第m层特征与RGB Block的前m层所有特征进行融合，得到Lidar Block的第m+1层特征Lidar_L_E_Feature_m：

其中，RGB_L_E_Feature_k表示RGB Block的第k层特征，S_k,m表示RGB Block的第k层特征与Lidar Block的第m层特征的融合参数；Lidar_L_E_Feature_m表示Lidar Block的第m层特征；

对于图像分支，将RGB Block的第一层特征与Lidar Block的第一层特征进行融合：

RGB_L_E_Feature₂＝T₁₁*Lidar_L_E_Feature₁+RGB_L_E_Feature₁

其中，RGB_L_E_Feature₂表示RGB Block的的第二层特征，T₁₁表示Lidar Block的第一层特征与RGB Block的第一层特征的融合参数；

当2≤m≤M-1时，将RGB Block的第m层特征与Lidar Block的前m层所有特征进行融合，得到RGB Block的第m+1层特征RGB_L_E_Feature_m：

其中，Lidar_L_E_Feature_k表示Lidar Block的第k层特征，T_k,m表示Lidar Block的第k层特征与RGB Block的第m层特征的融合参数；RGB_L_E_Feature_m表示RGB Block的第m层特征；

该融合阶段的输出为Lidar_L_E_Feature_M和RGB_L_E_Feature_M。