[发明专利]基于视锥点云的三维物体检测方法

摘要

本发明公开了一种基于视锥点云的三维物体检测方法，采集RGB图像和点云图像并进行标注，获取标注后的RGB图像数据集和点云图像数据集，将数据集作为训练样本和测试样本。主要由三个网络组成：基于二维物体检测的视锥点云抽取网络、基于Point net三维物体实例分割网络以及基于偏移残差的三维包围盒回归网络。三个网络依次训练，前一个网络的训练输出作为下一个网络的输入。设置各神经网络模型的超参数，通过Tensorflow训练三维物体检测网络模型，当代价损失函数减少到理想程度且训练达到所要求的最大迭代次数时，生成训练模型；将点云图像数据集输入至训练完毕的模型中，输出三维物体检测结果。本发明比现有三维物体检测方法更完善、难度更高。

主权项

1.基于视锥点云的三维物体检测方法，其特征在于，包括如下步骤：步骤一：对RGB图像和点云图像进行标注，获取标注后的RGB图像数据集和点云图像数据集，将RGB图像数据集和点云图像数据集作为基于视锥点云的三维物体检测网络模型的训练样本和测试样本；步骤二：构建基于二维物体检测的视锥点云抽取网络，将RGB图像数据集作为基于二维物体检测的视锥点云抽取网络的输入，利用RGB信息来对物体进行检测，从而获取感兴趣物体的二维包围盒，再通过对齐和配准后RGB图像与深度图像，得到检测出来的二维物体对应的视锥点云数据；步骤三：构建基于Point net三维物体实例分割网络，将步骤二获取的视锥点云数据作为基于Point net三维物体实例分割网络的输入，利用Point net网络对物体进行二元的实例分割，获得实例分割后的物体点云数据；步骤四：构建基于偏移残差的三维包围盒回归网络，将步骤三获得的实例分割后的物体点云数据作为基于偏移残差的三维包围盒回归网络的输入，回归物体三维包围盒的八个顶点与其真实值之间的偏移量，通过计算即可得物体的9自由度三维包围盒对应的八个顶点，从而得到其三维包围盒；步骤五：将RGB图像数据集和点云图像数据集输入至步骤四训练完毕的三维物体检测网络模型中，输出三维物体检测结果。