[发明专利]车辆的传感数据处理方法、装置、车辆及存储介质

说明书

本申请涉及一种车辆的传感数据处理方法、装置、车辆及存储介质，其中，方法包括：获取当前车辆的多个车载传感器采集的原始传感数据；将采集到的原始传感数据格式统一至多通道的二维表征，并组成多模的原始数据层，基于原始数据层得到传感数据；将传感数据输入至预先训练的多模态深度卷积网络，卷积处理得到至少一个融合特征，以基于至少一个融合特征识别至少一个目标的感知信息，其中，预先训练的多模态深度卷积网络的卷积核组由原始数据层得到。本申请通过将采集到的原始数据组成多模的原始数据层，并根据可变卷积核，对原始数据层进行特征提取，以生成识别结果，从而降低了网络维护成本，避免了网络的过拟合情况，提升了网络的泛化能力。

技术领域

本申请涉及传感器融合技术领域，特别涉及一种车辆的传感数据处理方法、装置、车辆及存储介质。

背景技术

当前深度网络的识别技术在车载感知识别领域取得了瞩目的成果，并引领着自动驾驶往实用落地发展。然而各个传感器需要不同的配置，如图1所示，其不仅需要预先配置好传感器的参数及安装位置，还需要工程师进行大量复杂地适配工作。同时，各传感器的成本差别较大，即便再同类车型上，各级别的辅助驾驶或自动驾驶中，各传感器均是梯次装配，进而造成基于各传感器的感知网络或是独立识别，或是固定融合，如图2所示，由此造成了根据不同传感器配置，具有不同的识别网络，对网络的适配维护带来了较大地工作量。此外，不同传感器探测得到的原始信号、格式等都各不相同，例如，摄像头因其感光元件不同，经过不同ISP(Image Signal Processor，图像信号处理)算法处理后的图像质量也不同，如图3所示，因此，不同的传感器会拥有不同的前处理算法和识别网络算法等，从而导致算法迁移、公用较为困难。

目前，相关技术可以通过毫米波雷达和摄像机的测量信息，得到空间对准点，选择包括目标车辆的感兴趣区域，从而得到该最小阈值划分出的灰度级区域对应的车辆下边界阴影区，获得车辆下边界阴影线，实现车辆下边界检测；此外，相关技术可基于多传感器融合技术，对目标车辆的行驶环境进行检测和感知，确定环境感知信息，从而实现目标车辆的自动控制。

然而，相关技术仅能对特定的传感器进行融合，且不同传感器配置的网络模型也不同，维护工作量较大，无法对不同的传感器配置通过统一的网络模型进行处理，亟待解决。

发明内容

本申请提供一种车辆的传感数据处理方法、装置、车辆及存储介质，以解决相关技术仅能对特定的传感器进行融合，且不同传感器配置的网络模型也不同，维护工作量较大，无法对不同传感器配置通过统一的网络模型进行处理等问题。

本申请第一方面实施例提供一种车辆的传感数据处理方法，包括以下步骤：获取当前车辆的多个车载传感器采集的原始传感数据；将采集到的所述原始传感数据格式统一至多通道的二维表征，并组成多模的原始数据层，基于所述原始数据层得到传感数据；以及将所述传感数据输入至预先训练的多模态深度卷积网络，卷积处理得到至少一个融合特征，以基于所述至少一个融合特征识别至少一个目标的感知信息，其中，所述预先训练的多模态深度卷积网络的多组卷积核组由所述多个车载传感器的数据得到。

根据上述技术手段，本申请实施例通过将采集到的原始数据组成多模的原始数据层，并根据可变卷积核，对原始数据层进行特征提取，以生成识别结果，从而能够通过一个统一的识别网络，自适应地提取不同传感器配置情况下的原始数据的特征，以进行识别检测，极大地降低了网络维护成本，提高了车载传感数据分析处理的效率和性能。

可选地，在本申请的一个实施例中，所述基于所述原始数据层得到传感数据，包括：利用预设高维数组链接所述原始传感数据；或者，基于预设前处理网络对所述原始传感数据进行处理。

根据上述技术手段，本申请实施例可以通过高维数组链接原始传感数据，或基于相应地前处理网络对原始传感数据进行处理，以实现不同格式传感器数据的统一表征，从而为后续特征提取提供可靠的融合数据。