[发明专利]一种基于多视角融合的3D目标检测方法及装置

权利要求书

1.一种基于多视角融合的3D目标检测方法，包括：

获取采集的来自多摄相机视角的至少一幅图像；

对所述至少一幅图像进行特征提取，得到所述至少一幅图像在多摄相机视角空间下各自对应的包含目标物体特征的特征数据；

基于多摄相机系统的内部参数和载具参数，将所述至少一幅图像在多摄相机视角空间下各自对应的特征数据映射至同一个鸟瞰视角空间，得到所述至少一幅图像在鸟瞰视角空间下各自对应的特征数据；

将所述至少一幅图像在鸟瞰视角空间下各自对应的特征数据进行特征融合，得到鸟瞰视角融合特征；

对所述鸟瞰视角融合特征中的目标物体进行目标预测，得到所述目标物体的三维空间信息。

2.根据权利要求1所述的方法，其中，所述基于多摄相机系统的内部参数和载具参数，将所述至少一幅图像在多摄相机视角空间下各自对应的特征数据映射至同一个鸟瞰视角空间，得到所述至少一幅图像在鸟瞰视角空间下各自对应的特征数据，包括：

基于所述多摄相机系统的内部参数和载具参数，确定所述多摄相机系统的多摄相机的相机坐标系到鸟瞰视角坐标系的转换矩阵；

基于多摄相机的相机坐标系到鸟瞰视角坐标系的转换矩阵，将所述至少一幅图像在多摄相机视角空间下各自对应的特征数据从多摄相机视角空间转换至鸟瞰视角空间下，得到所述至少一幅图像在鸟瞰视角空间下各自对应的特征数据。

3.根据权利要求2所述的方法，其中，所述基于多摄相机系统的内部参数和载具参数，确定所述多摄相机系统的多摄相机的相机坐标系到鸟瞰视角坐标系的转换矩阵，包括：

分别获取所述多摄相机系统中多摄相机的相机内参数和相机外参数，以及，获取载具坐标系到鸟瞰视角坐标系的转换矩阵；

基于多摄相机的相机外参数、相机内参数与载具坐标系到鸟瞰视角坐标系的转换矩阵，确定多摄相机的相机坐标系到鸟瞰视角坐标系的转换矩阵。

4.根据权利要求1所述的方法，其中，所述对所述鸟瞰视角融合特征中的目标物体进行目标预测，得到目标物体的三维空间信息，包括：

利用预测网络从所述鸟瞰视角融合特征中获取用于确定目标物体在鸟瞰视角坐标系下的第一预设坐标值对应的热力图，以及，获取用于确定目标物体在鸟瞰视角坐标系下的第二预设坐标值、尺寸和朝向角的其他属性图；

根据所述热力图中的峰值信息确定目标物体在鸟瞰视角坐标系下的第一预设坐标值，并且根据目标物体在鸟瞰视角坐标系下的第一预设坐标值从所述其他属性图中确定目标物体的在鸟瞰视角坐标下的第二预设坐标值、尺寸和朝向角；

根据目标物体在鸟瞰视角坐标系下的第一预设坐标值、第二预设坐标值、尺寸和朝向角，确定目标物体的三维空间信息。

5.根据权利要求4所述的方法，其中，还包括：

在预测网络的训练阶段，构建预测网络预测的热力图与真值热力图之间的第一损失函数，以及，构建预测网络预测的其他属性图与其他真值属性图之间的第二损失函数；

根据所述第一损失函数和所述第二损失函数确定预测网络在训练阶段的总损失函数，以监督预测网络的训练过程。

6.根据权利要求5所述的方法，其中，所述根据所述第一损失函数和所述第二损失函数确定预测网络在训练阶段的总损失函数，包括：

获取第一损失函数的权重值和第二损失函数的权重值；

基于所述第一损失函数、第一损失函数的权重值、所述第二损失函数和所述第二损失函数的权重值，确定预测网络在训练阶段的总损失函数。

7.根据权利要求1或4所述的方法，其中，所述对所述鸟瞰视角融合特征中的目标物体进行目标预测，得到目标物体的三维空间信息，包括：

利用神经网络对所述鸟瞰视角融合特征进行特征提取，获得包含目标物体特征的鸟瞰视角融合特征数据；

利用预测网络对所述包含目标物体特征的鸟瞰视角融合特征数据中的目标物体进行目标预测，得到目标物体的三维空间信息。