[发明专利]基于多传感器的数据融合方法、装置及存储介质

说明书

本申请涉及一种基于多传感器的数据融合方法、装置及存储介质，属于计算机技术领域，该方法包括：获取n种传感器分别采集的同一检测范围的传感器数据；对每种传感器对应的传感器数据分别进行特征提取，得到每种传感器对应的特征图；确定每张特征图中目标图像区域中各个图像通道的通道权重；按照通道权重更新特征图的通道信息，得到更新后的特征图；对于每种传感器对应的更新后的特征图中目标图像区域，确定更新后的特征图中目标图像区域的区域权重；按照区域权重对各个更新后的特征图中的目标图像区域进行合并，得到融合后的特征图；可以解决现有的基于多传感器的数据融合方式的数据融合效果不佳的问题；可以提高数据融合效果。

技术领域

本申请涉及一种基于多传感器的数据融合方法、装置及存储介质，属于计算机技术领域。

背景技术

随着自动驾驶技术的发展，车辆目前具有环境感知功能，比如：可以进行目标检测、目标识别等。车辆的环境感知功能通过安装在车辆上的传感器实现。通常，车辆上的传感器种类很多，因此，在进行环境感知时，需要对多种传感器采集到的数据进行数据融合。

目前，对多种传感器采集到的数据进行数据融合的方式包括：对每种传感器采集到的数据进行特征提取；然后，将各个特征提取结果按照固定的权重合并。或者，对每种传感器采集到的数据进行特征提取；然后，将各个特征提取结果按照固定的权重相加。

然而，每种传感器数据在不同场景下各有优缺点，比如：夜间利用图像传感器采集到的图像数据进行目标检测时，可能因为光照问题，较难检测出目标，但是利用激光雷达传感器采集到的激光点云数据进行目标检测时，不受光照明暗的影响。又比如：利用激光雷达传感器采集的激光点云数据可能较为稀疏，在目标识别场景中可能由于特征信息较少而导致识别准确率较低的问题，但是利用图像传感器采集到的图像数据进行目标识别时，由于图像数据能够提供丰富的纹理信息，因此，可以提高目标识别的准确性。若各个传感器对应固定的权重，可能会导致固定的权重无法适配当前场景，导致数据融合效果不佳的问题。

发明内容

本申请提供了一种基于多传感器的数据融合方法、装置及存储介质，可以解决基于多传感器的数据进行特征融合时，每个传感器对应的权重固定，无法自适应地适配当前场景，导致数据融合效果不佳的问题。本申请提供如下技术方案：

第一方面，提供一种基于多传感器的数据融合方法，所述方法包括：

获取n种传感器分别采集的同一检测范围的传感器数据，所述n为大于1的整数；

对每种传感器对应的传感器数据分别进行特征提取，得到每种传感器对应的特征图；

基于所述n种传感器中第一传感器对应的第一特征图，确定待检测目标的目标图像区域，并将所述目标图像区域置映射至所述n种传感器中第二传感器对应的第二特征图，得到所述第二特征图的目标图像区域；所述第二传感器是所述n种传感器中与所述第一传感器不同的传感器；

对于每种传感器对应的特征图中的目标图像区域，确定所述目标图像区域中各个图像通道的重要性占比，所述重要性占比为对应图像通道的通道权重；其中，不同图像通道表示不同类型的图像信息；

按照所述通道权重更新所述特征图的通道信息，得到更新后的特征图；

对于每种传感器对应的更新后的特征图中目标图像区域，确定所述更新后的特征图中目标图像区域的可信度，所述可信度为区域权重；

按照区域权重对各个更新后的特征图中的目标图像区域进行合并，得到融合后的特征图。

可选地，所述按照所述通道权重更新所述特征图的通道信息，得到更新后的特征图，包括：

将各个通道权重与所述特征图相乘，得到所述更新后的特征图。

可选地，所述按照区域权重对各个更新后的特征图中的目标图像区域进行合并，得到融合后的特征图，包括：