[发明专利]神经网络模型训练方法和装置、传感数据融合方法和装置

说明书

本公开实施例公开了一种用于传感数据融合的神经网络模型训练方法和装置、基于神经网络模型的传感数据融合方法和装置、电子设备及存储介质，其中，用于传感数据融合的神经网络模型训练方法包括基于样本图像和样本三维点云数据集，构建训练数据；基于所述训练数据，对初始神经网络模型进行训练，得到训练好的神经网络模型。本公开实施例可以更好的基于长尾场景的样本数据不断迭代优化所述神经网络模型。

技术领域

本公开涉及计算机辅助驾驶技术，尤其是一种用于传感数据融合的神经网络模型训练方法和装置、基于神经网络模型的传感数据融合方法和装置、电子设备及存储介质。

背景技术

在辅助驾驶或自动驾驶应用中，经常需要基于车载摄像头和激光雷达的融合进行感知后处理，而相关技术中的融合手段无法适应长尾场景。

因此，如何提供一种可以基于长尾场景的迭代优化的传感器融合方案其成为亟需解决的问题。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种用于传感数据融合的神经网络模型训练方法和装置、基于神经网络模型的传感数据融合方法和装置、电子设备及存储介质。

根据本公开实施例的一个方面，提供了一种用于传感数据融合的神经网络模型训练方法包括：基于样本图像和样本三维点云数据集，构建训练数据；基于所述训练数据，对初始神经网络模型进行训练，得到训练好的神经网络模型。

根据本公开实施例的另一个方面，提供了一种基于神经网络模型的传感数据融合方法，其中，所述神经网络模型为利用本公开所述的神经网络模型训练方法进行训练所得，所述传感数据融合方法包括：基于车载摄像头对目标区域拍摄的实时二维图像和车载激光雷达对所述目标区域扫描的实时三维点云数据集，确定所述实时三维点云数据集在所述实时二维图像上的投影以及在虚拟视角图像上的投影；将所述实时二维图像、所述实时三维点云数据集在所述实时二维图像上的投影以及在所述虚拟视角图像上的投影输入所述神经网络模型，得到视角转换光流；基于所述实时二维图像和所述视角转换光流，确定所述目标区域在所述虚拟视角下的图像。

根据本公开实施例的又一个方面，提供了一种用于传感数据融合的神经网络模型训练装置，包括：训练数据构建单元被配置为基于样本图像和样本三维点云数据集，构建训练数据；训练执行单元被配置为基于所述训练数据，对初始神经网络模型进行训练，得到训练好的神经网络模型。

根据本公开实施例的再一个方面，提供了一种基于神经网络模型的传感数据融合装置，其中，所述神经网络模型为利用本公开所述的神经网络模型训练装置进行训练所得，所述传感数据融合装置括：投影确定单元，被配置为基于车载摄像头对目标区域拍摄的实时二维图像和车载激光雷达对所述目标区域扫描的实时三维点云数据集，确定所述实时三维点云数据集在所述实时二维图像上的投影以及在虚拟视角图像上的投影；实时光流确定单元，被配置为将所述实时二维图像、所述实时三维点云数据集在所述实时二维图像上的投影以及在所述虚拟视角图像上的投影输入所述神经网络模型，得到视角转换光流；图像融合单元，被配置为基于所述实时二维图像和所述视角转换光流，确定所述目标区域在所述虚拟视角下的图像。

根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开所述的神经网络模型训练方法或所述的传感数据融合方法。

根据本公开实施例的再一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开所述的神经网络模型训练方法或本公开所述的传感数据融合方法。