[发明专利]神经网络模型训练方法和装置、传感数据融合方法和装置

权利要求书

1.一种用于传感数据融合的神经网络模型训练方法，包括：

基于样本图像和样本三维点云数据集，构建训练数据；

基于所述训练数据，对初始神经网络模型进行训练，得到训练好的神经网络模型；

其中，所述基于样本图像和样本三维点云数据集，构建训练数据，包括：

基于获取到的车载激光雷达相对于车载摄像头的第一外参，确定所述样本三维点云数据集中的每个点在所述样本图像上的第一投影坐标；

基于获取到的所述车载激光雷达相对于虚拟视角摄像头的第二外参，确定所述样本三维点云数据集中的每个点在虚拟视角图像上的第二投影坐标；

计算所述样本三维点云数据集中的每个点的第一投影坐标与第二投影坐标之间的差值，得到稀疏视角转换光流；

基于所述样本图像、第一投影坐标、第二投影坐标以及稀疏视角转换光流，构建所述训练数据。

2.根据权利要求1所述的神经网络模型训练方法，其中，所述基于所述训练数据，对初始神经网络模型进行训练，包括：

将所述样本图像、第一投影坐标以及第二投影坐标输入所述初始神经网络模型，得到所述初始神经网络模型输出的第一视角转换光流；

基于所述稀疏视角转换光流与所述第一视角转换光流，构建误差函数；

基于所述误差修改所述初始神经网络模型的权重参数；

重复上述步骤直至迭代次数满足预设次数。

3.根据权利要求2所述的神经网络模型训练方法，其中，所述基于所述误差修改所述初始神经网络模型的权重参数，包括：

按照使所述误差逐步减小的方向，调整所述初始神经网络模型的权重参数。

4.一种基于神经网络模型的传感数据融合方法，其中，所述神经网络模型为利用权利要求1-3中任一项所述的神经网络模型训练方法进行训练所得，所述传感数据融合方法包括：

基于车载摄像头对目标区域拍摄的实时二维图像和车载激光雷达对所述目标区域扫描的实时三维点云数据集，确定所述实时三维点云数据集在所述实时二维图像上的投影以及在虚拟视角图像上的投影；

将所述实时二维图像、所述实时三维点云数据集在所述实时二维图像上的投影以及在所述虚拟视角图像上的投影输入所述神经网络模型，得到视角转换光流；

基于所述实时二维图像和所述视角转换光流，确定所述目标区域在所述虚拟视角下的图像。

5.根据权利要求4所述的传感数据融合方法，其中，所述基于获取到的车载摄像头对目标区域拍摄的实时二维图像和车载激光雷达对所述目标区域扫描的实时三维点云数据集，确定所述实时三维点云数据集在所述实时二维图像上的投影以及在虚拟视角图像上的投影，包括：

基于获取到的所述车载激光雷达相对于所述车载摄像头的第一外参，确定所述实时三维点云数据集中的每个点在所述实时二维图像上的第三投影坐标；

基于获取到的所述车载激光雷达相对于虚拟视角摄像头的第二外参，确定所述实时三维点云数据集中的每个点在所述虚拟视角图像上的第四投影坐标。

6.根据权利要求4所述的传感数据融合方法，其中，所述基于所述实时二维图像和所述视角转换光流，确定所述目标区域在所述虚拟视角下的图像，包括：

将所述实时二维图像的像素坐标按照所述视角转换光流移动，得到所述目标区域在所述虚拟视角下的图像。

7.根据权利要求4所述的传感数据融合方法，其中，所述传感数据融合方法还包括：

基于所述实时二维图像和所述视角转换光流，确定所述目标区域在所述虚拟视角下的图像特征。