[发明专利]一种自动驾驶技术中的跨模态数据优选方法、装置及存储介质

权利要求书

1.一种自动驾驶技术中的跨模态数据优选方法，其特征在于，所述方法的步骤包括：

接收由驾驶系统的多种传感器采集的不同模态的数据图像，所述不同模态的数据图像包括视频图像、激光雷达图像和毫米波雷达图像；

根据数据图像的缺失部分占总图像大小的比例计算完整性参数；将数据图像的原始图像参数进行去噪处理得到真实图像参数，根据原始图像参数和每个原始图像参数对应的真实图像参数的差值计算准确性参数；基于数据图像的全部原始图像参数与数据图像的前一帧或者后一帧的数据图像的全部原始图像参数计算均方误差，将均方误差作为一致性参数；将数据图像的分辨率作为分辨率参数；将传感器输出数据图像消耗的时间作为时间成本参数；

基于每种模态的数据图像的完整性参数、准确性参数、一致性参数、分辨率参数和时间成本参数加权计算得到每种模态数据图像的质量分数；

组合每种模态的数据图像的质量分数，得到初始质量分数序列，将初始质量分数序列输入到预设的长短期记忆网络模型中，得到预测质量分数序列；

计算得到多个预测质量分数序列，根据多个预测质量分数序列中每种模态的数据图像的质量分数计算得到对应每种模态的数据图像的最终质量分数，根据多种模态的数据图像的最终质量分数比较结果，确定适用的模态。

2.根据权利要求1所述的自动驾驶技术中的跨模态数据优选方法，其特征在于，在根据数据图像的缺失部分占总图像大小的比例计算完整性参数的步骤中，若数据图像为视频图像，则计算视频图像的像素块的缺失部分占图像总像素块数量的比例；若数据图像为激光雷达图像或毫米波雷达图像，则计算视频图像中点云的缺失部分占总图像中总点云数量的比例。

3.根据权利要求1所述的自动驾驶技术中的跨模态数据优选方法，其特征在于，在根据原始图像参数和每个原始图像参数对应的真实图像参数的差值计算准确性参数的步骤中，计算对应位置的真实图像参数和原始图像参数的差值，计算全部差值的平均值作为准确性参数。

4.根据权利要求1所述的自动驾驶技术中的跨模态数据优选方法，其特征在于，若数据图像为视频图像，对应位置的真实图像参数和原始图像参数即为对应位置像素块的RGB参数或灰度值参数；若数据图像为激光雷达图像或毫米波雷达图像，则对应位置的真实图像参数和原始图像参数即为激光雷达图像或毫米波雷达图像中对应位置的点云的RGB参数或反射强度参数。

5.根据权利要求1所述的自动驾驶技术中的跨模态数据优选方法，其特征在于，在基于每种模态的数据图像的完整性参数、准确性参数、一致性参数、分辨率参数和时间成本参数加权计算得到每种模态数据图像的质量分数的步骤中，根据如下公式计算每种模态数据图像的质量分数：

S＝w₁·v₁+w₂·v₂+w₃·v₃+w₄·v₄+w₅·v₅；

v₁、v₂、v₃、v₄和v₅分别表示完整性参数、准确性参数、一致性参数、分辨率参数和时间成本参数；w₁、w₂、w₃、w₄和w₅分别表示对应完整性参数、准确性参数、一致性参数、分辨率参数和时间成本参数的权重参数，S表示质量分数。

6.根据权利要求1所述的自动驾驶技术中的跨模态数据优选方法，其特征在于，在将数据图像的原始图像参数进行去噪处理得到真实图像参数的步骤中，采用3x3标准化的盒式过滤器进行均值滤波的方式对数据图像的原始图像参数进行去噪处理。