[发明专利]一种基于深度神经网络的三维目标检测方法及系统

说明书

本发明公开了三维目标检测技术领域的一种基于深度神经网络的三维目标检测方法及系统，具有目标检测准确，神经网络层数少，计算量小，对硬件要求低，通用性和实时性强等特点。包括：获取目标物体所处环境的彩色图像和点云信息；采用深度神经网络YOLO6D与YOLOv2对彩色图像进行联合检测，分别获取目标物体在彩色图像上的2D边界框与3D边界框；将点云信息映射到彩色图像的图像坐标系下，获取点云信息在彩色图像中的坐标信息；根据目标物体在图像上的2D边界框与3D边界框，结合点云信息在彩色图像中的坐标信息，分别获取2D边界框与3D边界框的深度信息；根据2D边界框与3D边界框的深度信息，结合点云信息的维度，获取目标物体的类别、大小和位姿信息。

技术领域

本发明属于三维目标检测技术领域，具体涉及一种基于深度神经网络的三维目标检测方法及系统。

背景技术

随着深度学习理论的发展，已被广泛应用于目标识别、人脸识别、运动目标检测与风格迁移等各个领域中，然而，随着网络的不断加深，神经网络功能越来越强大，但其对硬件的要求也越来越高，尤其是三维目标检测领域。复杂的深度神经网络会大大增加所需成本，而且很多场合还需要满足实时性要求，这是三维目标检测应用中的一大难题。

发明内容

为解决现有技术中的不足，本发明提供一种基于深度神经网络的三维目标检测方法及系统，具有目标检测准确，神经网络层数少，计算量小，对硬件要求低，通用性和实时性强等特点。

为达到上述目的，本发明所采用的技术方案是：一种基于深度神经网络的三维目标检测方法，包括：a、获取目标物体所处环境的彩色图像和点云信息；b、采用深度神经网络YOLO6D与YOLOv2对彩色图像进行联合检测，框选目标物体，分别获取目标物体在彩色图像上的2D边界框与3D边界框；c、将点云信息映射到彩色图像的图像坐标系下，获取点云信息在彩色图像中的坐标信息；d、根据目标物体在彩色图像上的2D边界框与3D边界框，结合点云信息在彩色图像中的坐标信息，分别获取2D边界框与3D边界框的深度信息；e、根据2D边界框与3D边界框的深度信息，结合点云信息的维度，获取目标物体的类别、大小和位姿信息。

进一步地，在所述步骤a中，通过RGB彩色相机获取目标物体所处环境的彩色图像，通过深度相机或激光雷达获取目标物体的点云信息。

进一步地，在所述步骤c中，通过将深度相机或激光雷达与RGB彩色相机进行标定，从而将点云信息映射到彩色图像的图像坐标系下。

进一步地，在所述步骤b中，深度神经网络YOLOv2的输出维度为：

S₁×S₁×(N₁×(4+1+C₁)) (1)

其中，S₁是划分的单元格数量，N₁为瞄框数量，4为彩色图像中心点坐标与边界框长宽的参数数量，1为深度神经网络YOLOv2的置信度的参数数量，C₁为深度神经网络YOLOv2中各个类别的概率的参数数量；

深度神经网络YOLO6D采用YOLOv2的框架结构，其输出维度为：

S₂×S₂×(9×2+1+C₂) (2)

其中，S₂是划分的单元格数量，9代表的是3D边界框的8个顶点与1个中心点的参数数量，1为深度神经网络YOLO6D的置信度的参数数量，C₂为深度神经网络YOLO6D中各个类别的概率的参数数量。