[发明专利]一种深度多模态跨层交叉融合方法、终端设备及存储介质

说明书

本发明公开了一种深度多模态跨层交叉融合方法、终端设备及存储介质，所述方法包括：获取包含车道线的RGB图像和点云数据，并进行预处理；将预处理后的RGB图像和点云数据输入预先构建和训练好的语义分割模型，输出图像分割结果；所述语义分割模型用于实现RGB图像和点云数据的跨层交叉融合。本发明的方法将当前模态的当前层的特征与另一模态的后续所有层特征进行融合，既能将相似的或者相近的特征进行融合，也能将不相似的或者不相近的特征进行融合，对特征进行充分全面的融合；所有融合连接通过一个可学习的参数进行控制，使得融合更加灵活和智能，不用预设和固定融合方式；能够提高图像分割的准确度。

技术领域

本发明属于无人驾驶技术领域，具体涉及一种深度多模态跨层交叉融合方法、终端设备及存储介质。

背景技术

近年来，无人驾驶技术发展迅速，汽车依赖于多种传感器对周围环境进行感知，这就涉及到多传感器数据的融合，也即多模态融合。多模态数据的融合能够为汽车提供更加精确可靠的信息，提高驾驶的安全性以及鲁棒性。

由于在全天候全场景下单模态数据的有效性获取很难保证，导致基于单模态数据的自动驾驶算法稳定可靠运行面临很大挑战。而无人驾驶对安全性要求高，基于多模态数据融合的自动驾驶技术能够将不同类型传感器的优势互补，被广泛应用于自动驾驶领域。当前，国内外对多模态数据的融合方法有了一定的研究，主要分为前融合、中间融合、后融合以及交叉融合四种融合方式。但这几种方式都存在一定的问题，前融合直接将多个模态原始数据进行融合，没有考虑不同模态数据所处特征表示空间的差异性。中间融合将多个模态数据在中间某一个特征层次上进行融合，而融合的特征未必在一个特征表示空间上。后融合直接在决策层进行融合，即直接融合多个模态的最终结果，没有考虑各个层次特征之间交互融合。交叉融合则是对前、中、后多种融合方式的结合，但是在对应层次融合的特征还是不能保证在同一特征空间。不同模态数据间具有差异性、互补性是融合存在的意义，多模态数据融合对于最终感知结果的影响分为融合增强和融合抑制两种，但是应该在两个不同模态数据特征差异大还是小的时候进行融合会产生融合增强效果目前没有成熟的理论解释和支撑，同时对多模态数据如何进行融合以及融合时机的选择一直也未得到明确的解决。

发明内容

本发明的目的在于克服上述技术缺陷，提供了一种深度多模态跨层交叉融合方法，该融合方式更加灵活，充分考虑到了融合的特征是否在一个特征表示空间上，将特征的融合转化为神经网络参数的学习，让网络自己学习融合方式，使已有的前融合、中间融合、后融合以及交叉融合可以看作是跨层交叉融合的特例。

为实现上述目的，本发明的实施例1提供了一种深度多模态跨层交叉融合方法，所述方法包括：

获取包含车道线的RGB图像和点云数据，并进行预处理；

将预处理后的RGB图像和点云数据输入预先构建和训练好的语义分割模型，输出图像分割结果；所述语义分割模型用于实现RGB图像和点云数据的跨层交叉融合。

作为上述方法的一种改进，所述RGB图像通过安装在行驶车辆上的前向单目相机或前向单目摄像头获得；该RGB图像包括行驶车辆的行车方向正前方和路面上方的路面图像信息；所述点云数据通过安装在行驶车辆上激光雷达获得，该点云包含行驶车辆的行车方向正前方和路面上方的路面点云信息，其视角范围可通过处理与相机图像对齐；RGB图像和点云数据是同步采集的。

作为上述方法的一种改进，所述语义分割模型为由点云分支和图像分支组成的SkipCrossNet模型，该模型划分为三个融合单元：

第一融合单元，用于对点云数据和RGB图像进行交叉融合；

第二融合单元，用于进行点云Encoder阶段的特征与图像Encoder阶段的特征融合；和

第三融合单元，用于进行点云Decoder阶段的特征与图像Decoder阶段的特征融合。

作为上述方法的一种改进，所述第一融合单元的具体实现过程为：