[发明专利]基于视锥点云的三维物体检测方法

权利要求书

1.基于视锥点云的三维物体检测方法，其特征在于，包括如下步骤：

步骤一：对RGB图像和点云图像进行标注，获取标注后的RGB图像数据集和点云图像数据集，将RGB图像数据集和点云图像数据集作为基于视锥点云的三维物体检测网络模型的训练样本和测试样本；

步骤二：构建基于二维物体检测的视锥点云抽取网络，将RGB图像数据集作为基于二维物体检测的视锥点云抽取网络的输入，利用RGB信息来对物体进行检测，从而获取感兴趣物体的二维包围盒，再通过对齐和配准后RGB图像与深度图像，得到检测出来的二维物体对应的视锥点云数据；

步骤三：构建基于Point net三维物体实例分割网络，将步骤二获取的视锥点云数据作为基于Point net三维物体实例分割网络的输入，利用Point net网络对物体进行二元的实例分割，获得实例分割后的物体点云数据；

步骤四：构建基于偏移残差的三维包围盒回归网络，将步骤三获得的实例分割后的物体点云数据作为基于偏移残差的三维包围盒回归网络的输入，回归物体三维包围盒的八个顶点与其真实值之间的偏移量，通过计算即可得物体的9自由度三维包围盒对应的八个顶点，从而得到其三维包围盒；

步骤五：将RGB图像数据集和点云图像数据集输入至步骤四训练完毕的三维物体检测网络模型中，输出三维物体检测结果；

其中，基于偏移残差的三维包围盒回归网络的构建方法为：

a)利用步骤三中得到的实例分割后物体点云数据，经过一个基于Point net的特征抽取网络A，得到每个点的局部特征和全局特征，得到全局特征后，输出有两个不同分支操作：第一个分支是进入基于偏移残差的三维包围盒回归网络B，第二个分支是进入直接回归三维包围盒的八个顶点的网络C，然后将这连个分支的输出结果进行对比；

b)第一个分支，是将特征抽取网络A得到的全局特征和局部特征以及二维物体检测得到的先验知识one-hot向量进行连接，再经过5层MLP层操作，输出点云中第i个点预测包围盒8个顶点相对第i个点坐标的偏移值以及第i个点所预测的三维包围盒的得分P_i，选取所有点中预测的得分最高的三维包围盒作为网络的输出；然后通过真实值与偏移量计算得出预测的三维包围盒的八个顶点坐标C_i，其计算方法如下：

c)第二个分支是直接将特征抽取网络A得到的全局特征与二维检测得到的先验知识one-hot向量进行连接，经过3个MLP层操作，得到预测的三维包围盒的八个顶点坐标作为网络的输出；

基于偏移残差的三维包围盒回归网络B的损失函数为：

其中，m是实例分割点云的数目；offset_ratio_i是第i个点预测的包围盒的偏移距离比率，偏移距离比率即预测顶点与真实顶点的偏移距离和真实包围盒对角线长度的比例，其计算方法为：

L_conf是预测包围盒置信度的损失，其计算方法为：

其中，m是实例分割点云的数目，c_pred代表预测的物体三维包围盒的置信度，c_gt代表物体真实三维包围盒的置信度；

对于直接回归三维包围盒的八个顶点的网络C的损失函数为：

L_reg＝offset_ratio。

2.根据权利要求1所述的基于视锥点云的三维物体检测方法，其特征在于，所述步骤一中的RGB图像数据集和点云图像数据集均包括真实数据集和虚拟数据集两部分，真实数据集是利用多款深度相机在实验室场地环境下采集不同品类的RGB图和深度图；虚拟数据集是利用Blender工具人工生成不同场景、不同天气下的不同品类的RGB图和深度图。

3.根据权利要求2所述的基于视锥点云的三维物体检测方法，其特征在于，所述步骤一中，真实数据集的构建还包括：对RGB图像和深度图像进行对齐和配准，以获得需要的点云数据；利用LabelImg对RGB图像进行标注以及利用LabelFusion工具对点云数据进行标注；虚拟数据集的构建中还包括深度图的计算以及数据集自动标注过程。