[发明专利]一种基于多模态融合的自主系统感知方法及系统

权利要求书

1.一种基于多模态融合的自主系统感知方法，其特征在于，包括：

获取多个车辆的传感器采集的数据；

利用训练好的多模态数据融合框架对传感器采集的数据进行处理，将处理的结果进行融合，得到一级融合结果；

基于目标识别业务，对一级融合结果进行处理，保留感兴趣区域信息；

利用已有的多视角融合算法构建协作级联融合架构，对多个车辆上传的感兴趣区域信息进行二次融合，得到二次融合结果；

将二级融合结果下发至车辆，以供车辆根据二级融合结果做控制决策。

2.如权利要求1所述的一种基于多模态融合的自主系统感知方法，其特征在于，所述传感器采集的数据包括：道路信息数据和车辆行驶数据。

3.如权利要求1所述的一种基于多模态融合的自主系统感知方法，其特征在于，所述训练好的多模态数据融合架构的获取方式包括：

人工构建一个轻量网络结构，或使用神经网络结构搜索自动搜索轻量网络结构。

4.如权利要求1所述的一种基于多模态融合的自主系统感知方法，其特征在于，所述感兴趣区域信息，包括以下信息中的一种或多种：地面物体的真实位置、方向、大小和目标类别信息。

5.如权利要求1所述的一种基于多模态融合的自主系统感知方法，其特征在于，所述对一级融合结果进行处理，保留感兴趣区域信息，包括：

对一级融合结果中的不感兴趣区域信息进行弱化处理，保留感兴趣区域信息。

6.如权利要求5所述的一种基于多模态融合的自主系统感知方法，其特征在于，所述对感兴趣区域信息进行二次融合，得到二次融合结果，包括：

将多个车辆不同视角上传的感兴趣区域信息映射到全局坐标系后进行拼接，得到二次融合结果。

7.一种基于多模态融合的自主系统感知系统，包括：

感知数据获取模块，用于获取多个车辆的传感器采集的数据；

一级融合结果获取模块，用于利用训练好的多模态数据融合框架对传感器采集的数据进行处理，将处理的结果进行融合，得到一级融合结果；

一级融合结果处理模块，用于基于目标识别业务，对一级融合结果进行处理，保留感兴趣区域信息；

二级融合结果获取模块，用于利用已有的多视角融合算法构建协作级联融合架构，对多个车辆上传的感兴趣区域信息进行二次融合，得到二次融合结果；

结果下发模块，用于将二级融合结果下发至车辆，以供车辆根据二级融合结果做控制决策。

8.一种计算机装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1-6中任一项所述的基于多模态融合的自主系统感知方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1-6中任一项所述的基于多模态融合的自主系统感知方法。