[发明专利]一种基于深度神经网络的三维目标检测方法及系统

权利要求书

1.一种基于深度神经网络的三维目标检测方法，其特征是，包括：

a、获取目标物体所处环境的彩色图像和点云信息；

b、采用深度神经网络YOLO6D与YOLOv2对彩色图像进行联合检测，框选目标物体，分别获取目标物体在彩色图像上的2D边界框与3D边界框；

c、将点云信息映射到彩色图像的图像坐标系下，获取点云信息在彩色图像中的坐标信息；

d、根据目标物体在彩色图像上的2D边界框与3D边界框，结合点云信息在彩色图像中的坐标信息，分别获取2D边界框与3D边界框的深度信息；

e、根据2D边界框与3D边界框的深度信息，结合点云信息的维度，获取目标物体的类别、大小和位姿信息。

2.根据权利要求1所述的基于深度神经网络的三维目标检测方法，其特征是，在所述步骤a中，通过RGB彩色相机获取目标物体所处环境的彩色图像，通过深度相机或激光雷达获取目标物体的点云信息。

3.根据权利要求2所述的基于深度神经网络的三维目标检测方法，其特征是，在所述步骤c中，通过将深度相机或激光雷达与RGB彩色相机进行标定，从而将点云信息映射到彩色图像的图像坐标系下。

4.根据权利要求1所述的基于深度神经网络的三维目标检测方法，其特征是，在所述步骤b中，深度神经网络YOLOv2的输出维度为：

S₁×S₁×(N₁×(4+1+C₁)) (1)

其中，S₁是划分的单元格数量，N₁为瞄框数量，4为彩色图像中心点坐标与边界框长宽的参数数量，1为深度神经网络YOLOv2的置信度的参数数量，C₁为深度神经网络YOLOv2中各个类别的概率的参数数量；

深度神经网络YOLO6D采用YOLOv2的框架结构，其输出维度为：

S₂×S₂×(9×2+1+C₂) (2)

其中，S₂是划分的单元格数量，9代表的是3D边界框的8个顶点与1个中心点的参数数量，1为深度神经网络YOLO6D的置信度的参数数量，C₂为深度神经网络YOLO6D中各个类别的概率的参数数量。

5.根据权利要求1所述的基于深度神经网络的三维目标检测方法，其特征是，在所述步骤d中，将点云信息在彩色图像中的坐标信息与深度神经网络YOLO6D输出的3D边界框进行比较，若点云信息在彩色图像中的坐标信息在3D边界框的内部，则说明该点云属于目标物体，从而直接提取彩色图像中框选目标物体的3D边界框的深度信息；将点云信息在彩色图像中的坐标信息与2D边界框的各个顶点及中心比对，将包含在2D边界框的深度信息平均求和，获取各个顶点及中心的深度信息，即为2D边界框的深度信息。

6.根据权利要求1所述的基于深度神经网络的三维目标检测方法，其特征是，在所述步骤e中，若点云信息为三维，利用3D边界框的深度信息，直接根据3D边界框分割三维点云信息；若点云信息为二维，利用2D边界框的深度信息，将2D边界框转化为三维点云，从而获取目标物体的类别、大小与位姿信息。

7.一种基于深度神经网络的三维目标检测系统，其特征是，包括：

第一模块，用于获取目标物体所处环境的彩色图像和点云信息；

第二模块，用于采用深度神经网络YOLO6D与YOLOv2对彩色图像进行联合检测，框选目标物体，分别获取目标物体在彩色图像上的2D边界框与3D边界框；

第三模块，用于将点云信息映射到彩色图像的图像坐标系下，获取点云信息在彩色图像中的坐标信息；

第四模块，用于根据目标物体在图像上的2D边界框与3D边界框，结合点云信息在彩色图像中的坐标信息，分别获取2D边界框与3D边界框的深度信息；

第五模块，用于根据2D边界框与3D边界框的深度信息，结合点云信息的维度，获取目标物体的类别、大小和位姿信息。