[发明专利]一种三维物体检测与跟踪方法

说明书

本发明公开了一种三维物体检测与跟踪方法，属于三维视觉领域。本发明分为扫描和检测跟踪。扫描过程通过扫描待检测跟踪的三维物体，结合视觉里程计得到三维物体以及所处环境的相关信息；检测跟踪过程使用改进的SuperPoint算法进行特征提取与匹配，并结合视觉里程计，得到精确，鲁棒的三维物体检测与跟踪结果。改进的SuperPoint算法通过改进损失函数，保证精确率的同时大大降低了训练消耗的内存。本发明对网络输出的描述子维度进行适应性的调整，能够在检测与跟踪阶段得到更高的精度。最终得到的三维物体检测与跟踪系统具有较高的精度和鲁棒性，在物体局部遮挡，相机较快移动，环境中有相似其他物体的情况下，本发明也能得到较为精确的结果。

技术领域

本发明涉及三维视觉领域，尤其涉及一种基于特征匹配的三维物体检测与跟踪方法。

背景技术

三维物体检测与跟踪任务的目标是在连续视频帧中对指定三维物体进行目标检测和六自由度位姿求解，其中位姿包括三自由度的朝向和三自由度的位置。检测和跟踪得到的精确的位姿求解结果对于无人驾驶以及机器人控制，增强现实等多个领域都至关重要。比如通过估计物体实际的位姿，自动驾驶的车辆或机器人可以准确地预判和规划自己的行为和路径，避免碰撞和违规。

学术界对于三维物体检测与跟踪的研究工作已经持续了十余年。对于三维物体的检测，大致可以分为基于模版匹配的方法、基于特征学习的方法以及基于深度学习的方法。

得益于卷积神经网络强大的表达能力和对场景的理解能力，近几年出现了越来越多基于神经网络的三维物体检测方法。一些基于深度学习的方法利用卷积神经网络进行通用类别物体的检测与识别。比如经典的Faster R-CNN,YOLO，SSD等算法。这些网络通过在庞大的数据集上进行训练，具有强大的分类与检测能力。物体的检测与识别方法往往也以其作为基础网络。除了检测出图像中物体的类别，更进一步需要得到对应三维物体的位姿估计。此类方法主要分为两大类。第一类方法直接利用神经网络回归出三维物体的位姿，另外一类方法首先利用网络得到三维物体关键点(通常是三维物体所在包围盒的八个顶点以及包围盒的中心点)在二维图像上的对应位置，网络的输出只是该任务的一个中间结果。得到2D-3D的对应后，再利用PnP算法计算出三维物体的位姿。相比直接利用网络回归位姿的方法，此类方法能够得到更高的精度。另外还有一些方法利用分割网络识别包含三维物体的图像区域，并在对应区域回归关键点的位置，也能得到比较好的结果。此类两阶段方法也有一定的缺陷：在三维物体存在较大面积遮挡或截断的情况下，关键点被遮挡，尽管神经网络可能通过记忆相似的模式来预测这些不可见关键点的位置，但通常不能给出精准的预测结果，导致随后的位姿求解失败。

对于三维物体的跟踪方法，总的来说包括基于特征点的方法、基于模型的方法、基于神经网络的方法以及基于SLAM的方法。基于特征点的方法适用于纹理丰富的物体，大部分的算法依赖性能优异的特征点提取算法，特征点描述算法以及特征点匹配算法。对于无纹理三维物体的跟踪任务，需要预先获得三维物体的模型，接下来利用边缘信息或者图像的纹理，颜色信息等进行物体的跟踪。随着SLAM技术的不断成熟，SLAM算法能够很好的完成在不同环境下的跟踪任务。SLAM算法可以在未知环境中得到自身的位姿信息，同时重建出环境的三维地图。已知传感器的数据，SLAM算法通过求解一个状态估计问题完成对相机位姿的求解和环境的重建。基于SLAM的方法通过把三维物体的点云注册到SLAM坐标系，利用SLAM系统输出的相机位姿，使用一定的策略对该位姿进行验证和更新，就能对物体进行准确、稳定的跟踪。