[发明专利]一种利用标签编码进行中间监督的三维目标检测方法

说明书

本发明公开了一种利用标签编码进行中间监督的三维目标检测方法，适用于由三维场景数据特征提取模块和三维目标边界框检测模块组成的三维目标检测网络。利用辅助网络充当中间监督实现标签点云对特征提取模块的约束。方法分两步：第一步,将原始点云输入主干网络，提取原始点云中每个目标的点云输入辅助网络，通过优化两个网络的检测损失函数和网络之间的距离损失函数同时训练两个网络参数；第二步修改损失函数，改变两个网络的参数训练方式进行再次训练，完成后移除辅助网络，直接输入原始点云到主干网络即可进行检测。本发明的优点是在控制运算成本的基础上大幅度提升三维目标检测精度，最终在经典三维检测网络Votenet上提升3.8个百分点。

技术领域

本发明属于三维目标检测技术领域，涉及一种利用标签编码进行中间监督的三维目标检测方法。

背景技术

目标检测任务通常包括目标定位和分类，即输出结果包括目标位置和类别。三维物体检测不同于二维平面检测，从输入上看：2D物体检测通常使用RGB图像进行物体检测，而3D物体检测可以使用RGB图像、RGB-D深度图像和激光点云；从输出上来看：预测结果的目标位置表示也从矩形框变成空心立方体。三维目标检测作为理解真实三维世界的基本任务之一，在自动驾驶、智能机器人控制等领域起着至关重要的作用，但相比于目前的二维目标检测研究成果，点云数据的稀疏性和无序性使得三维目标检测在准确性和实时性方面还有很大的提高空间。

当前关于3D目标检测性能提升的研究方案主要分为两个方向：对主干网络的提取特征部分的修改和主干网络中检测器部分的修改。论文《Mao J,Xue Y,Niu M,et al.Voxeltransformer for 3d object detection[C]//Proceedings of the IEEE/CVFInternational Conference on Computer Vision.2021:3164-3173.》解决了传统3D卷积主干在基于体素的方法中无法有效捕获大量上下文信息的问题。论文《Qi C R,Chen X,Litany O,et al.Imvotenet:Boosting 3d object detection in point clouds withimage votes[C]//Proceedings of the IEEE/CVF conference on computer vision andpattern recognition.2020:4404-4413.》通过结合RGB图像的信息来补充点云特征。《ChenJ,Lei B,Song Q,et al.A hierarchical graph network for 3D object detection onpoint clouds[C]//Proceedings of the IEEE/CVF conference on computer visionand pattern recognition.2020:392-401.》提出了一种新的以形状为重点的局部形状特征结构，通过模拟点的相对几何位置来描述物体的形状。基于模拟退火遗传算法的U型网络通过改进的投票模块捕获多级特征并将它们映射到相同的特征空间，进一步用于生成建议框。论文《Guo M H,Cai J X,Liu Z N,et al.Pct:Point cloud transformer[J].Computational Visual Media,2021,7(2):187-199.》中探讨了transformer在3D物体检测中的应用。针对检测模块的改进，论文《Zhang Z,Sun B,Yang H,et al.H3dnet:3dobject detection using hybrid geometric primitives[C]//European Conference onComputer Vision.Springer,Cham,2020:311-329.》在bbox、bbox表面和bbox边缘三个维度上为中心点投票，为bbox预测添加更详细的约束。论文《Cheng B,Sheng L,Shi S,etal.Back-tracing Representative Points for Voting-based 3D Object Detection inPoint Clouds[C]//Proceedings of the IEEE/CVF Conference on Computer Visionand Pattern Recognition.2021:8963-8972.》提出了一种改进，以解决论文《Qi C R,Litany O,He K,et al.Deep hough voting for 3d object detection in point clouds[C]//Proceedings of the IEEE/CVF International Conference on ComputerVision.2019:9277-9286.》不能有效表示物体结构信息，尤其是外观信息，以及存在一些影响边界框的预测精度，添加了一个回溯模块，用于对信息量更大的种子点进行重新采样。