[发明专利]基于双目摄像头左右目视图关键点一致性的检测方法

说明书

本发明公开了一种基于双目摄像头左右目视图关键点一致性的检测方法，包括：用确定性网络提取方向梯度直方图特征；结合提取的方向梯度直方图特征，利用立体区域建议网络对左目、右目的视图分别进行2D目标检测，得到左、右目视图候选区域；利用立体区域卷积神经网络的内部关键点预测模块对左、右目视图候选区域分别进行关键点的预测；对左、右目视图预测的关键点进行一致性匹配，并建立相应的损失函数，通过训练将各项任务的损失最小化；根据预测的关键点进行3D框的估计，通过稠密3D框对齐进行像素级别的精度匹配，对上一步估计的3D框的结果进行进一步修正。本发明利用左右关键点的一致性，提高立体检测中的准确率。

技术领域

本发明涉及双目摄像头立体检测领域，尤其涉及一种基于左右目视图关键点一致性进行双目摄像头的3D检测的方法。

背景技术

目标检测是计算机视觉领域重要的一部分，几乎从计算机诞生之初，目标检测就开始成为研究的重点。2D目标检测有了长足的发展，准确率和检测速度都有明显的提升。随着2D目标检测的发展，研究者的目光开始投向3D目标检测。并且，3D目标检测在实际应用有着重要的意义。例如，无人驾驶领域，离不开3D目标检测，并且3D目标检测仍然有较大的发展空间，因此，发展3D目标检测算法显得极为重要。

对于3D目标检测，大多数算法都是基于激光雷达、双目摄像头和单目摄像头，对于不同的检测设备，所用的方法也不同。其中，三者中最多的方法是基于激光雷达的，并且现如今基于雷达的算法已经能够得到极高的准确率。但是激光雷达由于价格高昂、容易受天气变化尤其是雨雪天的影响、容易伤害人眼，这对于无人驾驶的推广是致命的。单目摄像头尽管相对平价、不受天气影响，能够克服激光雷达上述缺陷，但是对于3D目标检测误差较大，检测结果不如人意，因此单目的3D目标检测不宜推广。双目摄像头相比较而言，考虑到精度、成本、效率等方面，其综合性优于前二者。双目摄像头能够得到相对精确的深度值。因此，基于双目摄像头的3D检测，具有极高的研究意义。立体区域卷积神经网络(StereoRegion Convolutional Neural Networks,Stereo R-CNN)作为一种3D目标检测算法，具有准确度高、速度快等特点。但是，其3D检测的精度仍然有提升的空间。

因此提出一种有效的双目视觉3D检测的方法是很有意义的。

发明内容

本发明提供了一种基于双目摄像头左右目视图关键点一致性的检测方法，本发明利用左右关键点的一致性，提高立体检测中的准确率，详见下文描述：

一种基于双目摄像头左右目视图关键点一致性的检测方法，所述方法包括：

用确定性网络提取方向梯度直方图特征；

结合提取的方向梯度直方图特征，利用立体区域建议网络对左目、右目的视图分别进行2D目标检测，得到左、右目视图候选区域；

利用立体区域卷积神经网络的内部关键点预测模块对左、右目视图候选区域分别进行关键点的预测；

对左、右目视图预测的关键点进行一致性匹配，并建立相应的损失函数，通过训练将各项任务的损失最小化；

根据预测的关键点进行3D框的估计，通过稠密3D框对齐进行像素级别的精度匹配，对上一步估计的3D框的结果进行进一步修正。

其中，所述损失函数具体为：