[发明专利]一种基于多视角融合的3D目标检测方法及装置

说明书

本公开实施例公开了一种基于多视角融合的3D目标检测方法及装置。在该方法中，对多摄相机系统采集的多摄相机视角的至少一幅图像进行特征提取，并基于多摄相机系统的内部参数和载具参数，将提取到的在多摄相机视角空间下包含目标物体特征的特征数据映射至同一个鸟瞰视角空间，得到至少一幅图像在鸟瞰视角空间下各自对应的特征数据，通过特征融合得到鸟瞰视角融合特征。对鸟瞰视角融合特征中的目标物体进行目标预测，得到目标物体的三维空间信息。通过本公开实施例的方案进行基于多视角融合的3D目标检测时，先进行多视角的特征融合再进行3D目标检测，端到端的完成鸟瞰视角下的场景物体3D检测，提高检测效率。

技术领域

本公开涉及计算机视觉领域，具体涉及一种基于多视角融合的3D目标检测方法及装置。

背景技术

随着科技的发展，自动驾驶技术在人们生活中的应用越来越广泛。自动驾驶载体可以对周围一定距离内的目标物体(车辆、行人、骑车人等)进行3D检测，以获得目标物体的三维空间信息。基于目标物体的三维空间信息对目标物体进行测距、测速，以实现更好的驾驶控制。

目前，自动驾驶载体可以采集视角不同的多幅图像，然后分别对每一幅图像进行3D检测，最后对各幅图像的3D检测结果进行融合，以生成载体周围环境的目标物体的三维空间信息。

发明内容

现有的技术方案需要对自动驾驶载体采集的每一幅图像分别进行3D检测，然后再对各幅图像的3D检测结果进行融合，以获取载体周围360度环境的他车信息，导致检测效率较低。

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种基于多视角融合的3D目标检测方法及装置。

根据本公开的一个方面，提供了一种基于多视角融合的3D目标检测方法，包括：

获取采集的来自多摄相机视角的至少一幅图像；

对所述至少一幅图像进行特征提取，得到所述至少一幅图像在多摄相机视角空间下各自对应的包含目标物体特征的特征数据；

基于多摄相机系统的内部参数和载具参数，将所述至少一幅图像在多摄相机视角空间下各自对应的特征数据映射至同一个鸟瞰视角空间，得到所述至少一幅图像在鸟瞰视角空间下各自对应的特征数据；

将所述至少一幅图像在鸟瞰视角空间下各自对应的特征数据进行特征融合，得到的鸟瞰视角融合特征；

对所述鸟瞰视角融合特征中的目标物体进行目标预测，得到所述目标物体的三维空间信息。

根据本公开的另一个方面，提供了一种基于多视角融合的3D目标检测装置，包括：

图像接收模块，用于获取采集的来自多摄相机视角的至少一幅图像；

特征提取模块，用于对所述图像接收模块获取的所述至少一幅图像进行特征提取，得到所述至少一幅图像在多摄相机视角空间下各自对应的包含目标物体特征的特征数据；

图像特征映射模块，用于基于多摄相机系统的内部参数和载具参数，将所述特征提取模块获得的所述至少一幅图像在多摄相机视角空间下各自对应的特征数据映射至同一个鸟瞰视角空间，得到所述至少一幅图像在鸟瞰视角空间下各自对应的特征数据；

图像融合模块，用于将所述图像映射模块得到的所述至少一幅图像在鸟瞰视角空间下各自对应的特征数据进行特征融合，得到鸟瞰视角融合特征；

3D检测模块，用于对所述图像融合模块得到的所述鸟瞰视角融合特征中的目标物体进行目标预测，得到目标物体的三维空间信息。

根据本公开的又一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于执行上述的基于多视角融合的3D目标检测方法。

根据本公开的再一个方面，提供了一种电子设备，所述电子设备包括：