[发明专利]基于单目图像的三维目标检测系统及方法

说明书

一种基于单目图像的三维目标检测系统及方法，将三维目标检测转化到二维图像下的预测，然后应用摄像头标定参数将二维映射到摄像头三维坐标系下，重构出目标的三维目标框，通过对映射出的三维目标框进行进一步修正，得到精确的三维目标框，经两步法训练后进行精确三维目标检测，本发明低成本，高效，具有广泛的实际应用价值。

技术领域

本发明涉及的是一种自动驾驶领域的技术，具体是一种基于单目图像的三维目标检测系统及方法。

背景技术

目前用于自动驾驶的二维目标检测技术相对成熟，三维目标检测技术成为研究热点，其难度更大，复杂度更高。当前，三维目标检测现有的方法绝大多数基于激光雷达扫描的点云数据，但由于激光雷达的高成本，不能大规模实际落地。现有的一些单目图像的三维目标检测方法，主要集中在车的三维检测，由于车是刚体，可以建立不同类别车的CAD模型，将二维映射为三维，然而要为每一个类别设计对应CAD模型，过程复杂，不具有很好的泛化能力。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于单目图像的三维目标检测系统及方法，通过精确地检测目标的接地点，然后通过摄像头的投影矩阵映射出接地点的真实三维矩阵，最终恢复出目标的真实三维目标框，该方法低成本，高效，具有广泛的实际应用价值。

本发明是通过以下技术方案实现的：

本发明涉及一种基于单目图像的三维目标检测系统，包括：二维框检测模块、二维修正模块以及用于将二维映射三维的标定摄像头投影矩阵模块，三维目标框进一步修正模块，其中：二维框检测模块与深度特征相连进行二维信息预测并传输二维目标框、接地点等信息，二次修正模块与二维框检测模块相连进行进一步修正二维预测信息，投影矩阵映射模块与二次修正模块相连进行将二维点映射到摄像头坐标系下的三维点处理并传输三维目标框信息，三维目标框修正模块与投影矩阵映射模块相连进行三维目标框修正处理，最终系统输出精确的三维目标框。

附图说明

图1为本发明网络训练数据示意图；

图2为本发明网络结构图；

图3为三维目标框修正模块结构图；

图4为本发明实施例效果图；

图5为二维目标信息示意图；

图中：a、b、c分别表示本发明神经网络学习到的二维框信息在图片中的可视化；

图6为三维目标检测框点云示意图；

图中：a、b、c分别表示本发明神经网络学习到的三维目标框在不同时刻点云的可视化。

具体实施方式

如图1所示，为本实施例涉及一种基于单目图像的三维目标检测系统，包括：二维框检测模块、二维修正模块以及用于将二维映射三维的标定摄像头投影矩阵模块，三维目标框进一步修正模块，其中：二维框检测模块与深度特征相连进行二维信息预测并传输二维目标框、接地点等信息，二次修正模块与二维框检测模块相连进行进一步修正二维预测信息，投影矩阵映射模块与二次修正模块相连进行将二维点映射到摄像头坐标系下的三维点处理并传输三维目标框信息，三维目标框修正模块与投影矩阵映射模块相连进行三维目标框修正处理，最终系统输出精确的三维目标框。

本实施例中，所述的三维目标框修正模块首先对深度特征进行ROI匹配(Align)操作，得到每个目标的深度特征，然后送入节点数为4096、1024的两层的全连接层的感知机中，最后输出的节点数为类别数*7。

由于检测的接地点往往会偏离实际的“0”平面，需要回归目标的俯仰角进行补偿，为了精确预测偏离距离，将偏离距离与其图像坐标系下的面积的比值进行编码回归。