[发明专利]一种自动驾驶技术中的跨模态数据优选方法、装置及存储介质

说明书

本发明提供一种自动驾驶技术中的跨模态数据优选方法、装置及存储介质，所述方法的步骤包括：接收数据图像；根据数据图像的缺失部分计算完整性参数；将数据图像进行去噪处理得到真实图像参数，根据原始图像参数和真实图像参数计算准确性参数；根据原始图像前后帧计算一致性参数；将数据图像的分辨率作为分辨率参数；将传感器输出数据图像消耗的时间作为时间成本参数；基于完整性参数、准确性参数、一致性参数、分辨率参数和时间成本参数计算质量分数；将初始质量分数序列输入到长短期记忆网络模型中，得到预测质量分数序列；根据多个预测质量分数序列中每种模态的数据图像的质量分数计算最终质量分数，根据最终质量分数比较，确定适用的模态。

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种自动驾驶技术中的跨模态数据优选方法、装置及存储介质。

背景技术

近几年，随着深度学习技术的大量应用，自动驾驶技术也取得了爆炸性的进步。深度学习技术相较于传统的数学模型，在数据处理能力上有了质的提升，因此也使得自动驾驶技术的数据收集系统越来越丰富。越来越多的传感器类型被应用在自动驾驶系统中，用于收集各种不同模态的数据。就目前而言，一个完整的自动驾驶系统通常包括激光雷达(Lidar)、摄像机(Camera)、毫米波雷达(RADAR)、全球定位系统(GPS)以及惯性测量单元(IMU)等。

在传统的自动驾驶数据处理工作中，通常只考虑单一模态的数据质量，通过质量模型或深度学习的方法对数据的质量进行判断，进而对数据进行优化和清理。然而随着自动驾驶技术的发展，越来越多种类型的传感器开始被应用于自动驾驶的环境感知工作中，多模态的数据处理已经成为了自动驾驶领域的一个热门的话题。

由于这些传感器的不同特性，它们在不同的环境中所能提供的数据质量是不同的，例如，激光雷达在大雾或大雨天气中性能会受到很大的影响，而摄像头在黑夜中则难以发挥作用，现有技术难以根据实际场景调整适应的传感器。

发明内容

鉴于此，本发明的实施例提供了一种自动驾驶技术中的跨模态数据优选方法，以消除或改善现有技术中存在的一个或更多个缺陷。

本发明的一个方面提供了一种自动驾驶技术中的跨模态数据优选方法，所述方法的步骤包括：

接收由驾驶系统的多种传感器采集的不同模态的数据图像，所述不同模态的数据图像包括视频图像、激光雷达图像和毫米波雷达图像；

根据数据图像的缺失部分占总图像大小的比例计算完整性参数；将数据图像的原始图像参数进行去噪处理得到真实图像参数，根据原始图像参数和每个原始图像参数对应的真实图像参数的差值计算准确性参数；基于数据图像的全部原始图像参数与数据图像的前一帧或者后一帧的数据图像的全部原始图像参数计算均方误差，将均方误差作为一致性参数；将数据图像的分辨率作为分辨率参数；将传感器输出数据图像消耗的时间作为时间成本参数；

基于每种模态的数据图像的完整性参数、准确性参数、一致性参数、分辨率参数和时间成本参数加权计算得到每种模态数据图像的质量分数；

组合每种模态的数据图像的质量分数，得到初始质量分数序列，将初始质量分数序列输入到预设的长短期记忆网络模型中，得到预测质量分数序列；

计算得到多个预测质量分数序列，根据多个预测质量分数序列中每种模态的数据图像的质量分数计算得到对应每种模态的数据图像的最终质量分数，根据多种模态的数据图像的最终质量分数比较结果，确定适用的模态。

采用上述方案，本方案通过搭建跨模态数据质量评估模型，利用完整性、一致性、准确性、分辨率和时间成本五个维度对不同模态数据的质量做出评估，得到能够进行跨模态比较的质量分数；同时能够利用LSTM模型根据已知的质量分数对未来质量分数的趋势做出合理的预测，从而有效降低系统在实时环境中的延迟，且本方案能够普遍应用于多种模态的数据类型，并且能够很好地适应自动驾驶的低延迟环境，可以应用在大多数多模态数据支持的自动驾驶系统中，能够根据实际得到的数据确定使用的模态，根据实际场景调整适应的传感器。