[发明专利]一种基于卷积神经网络的单目视图的3D目标检测方法

说明书

本发明公开了一种基于卷积神经网络的单目视图的3D目标检测方法。在自动驾驶场景中主要检测的3D目标包括但不局限于汽车，行人，以及自行车等类别。本发明主要包括如下步骤：首先利用事先准备好的训练集训练好网络参数；然后在预测阶段，将车载摄像头采集的单目图像经过预处理后，输入至训练好的卷积神经网络当中，预测出目标的2D边框、实际尺寸大小、和深度；最后通过射影几何相机模型求解出3D目标的3D空间中的位置。基于本发明所提出方法的基于单目视图的3D目标检测方法在测试数据集中具有较高的精度，具有良好的准确性和鲁棒性。

技术领域

本发明属于计算机视觉领域，尤其涉及一种基于卷积神经网络的单目视图的3D目标检测方法。

背景技术

视觉是人们在驾驶车辆过程感知周围环境时主要依赖的信息来源。人类的视觉经过漫长时间的进化，对周围的环境具有很好的感知能力，可以轻松识别出周围的目标对象和对周围目标对象进行定位感知。而计算机视觉技术正是想要赋予计算机人类的视觉识别和定位的功能。通过复杂的图像计算，计算机能够识别和定位出目标对象。

近年来自动驾驶无论在工业界还是学术界均受到了很大的关注，自动驾驶的目的是一定程度上或者完全代替人类的驾驶行为。随着近年来自动驾驶领域技术的向前推进，越来越多的自动驾驶功能逐步进入到人们的日常出行当中。为了在自动驾驶的过程中，保证车内人员和周围环境的车辆和行人的安全，自动驾驶对感知环境有极高的要求。在自动驾驶技术领域中，感知是进行人机交互的前提，感知直接影响到对车辆主体周围环境的认知情况。车辆主体对周围环境的准确感知，是车辆进行决策规划的前提，是保障车辆安全驾驶，保障车内乘客的人身安全的前提条件。在感知领域有众多的技术路线，按照传感器类型可以分为基于激光雷达、基于毫米波雷达和基于摄像头的。基于摄像头的方案又可以分为单目和双目，而本发明提出的是一种基于单目摄像头的3D目标检测方法。

3D目标检测是自动驾驶领域一个非常重要的基本任务，三维空间中的物体一般用一个3D Box进行表示，其参数包括空间坐标(x,y,z)、尺寸大小(l,w,h)和偏航角(θ)。相比较于激光雷达，单目摄像头有着低成本，高分辨率，成像稳定的优势，在自动驾驶领域被广泛应用。但是单目摄像头由于透视投影的关系，缺失了深度信息，3D目标的定位具有较大的挑战。近年来，深度卷积神经网络(CNN)已经极大地改善了2D目标检测的性能。卷积神经网络的性能不断提高，通用性也在不断增强，为单目3D目标检测提供了强有力的技术手段。本发明则是提出了一种基于卷积神经网络的单目视图的3D目标检测方法。

发明内容

本发明的目的是针对现有的应用于自动驾驶场景的3D目标检测的不足，提供一种基于卷积神经网络的单目视图的3D目标检测方法。

本发明采取的技术方案是：

首先，从通过车载单目摄像头采集RGB图像和摄像头的标定参数；然后将图像进行预处理，输入至卷积神经网络当中，得到预测的参数，最后根据这些参数，利用相机模型计算出最终目标对象的3D边框，包括空间坐标和偏航角。

本发明解决其技术问题所采用的技术方案如下：

一种基于卷积神经网络的单目视图的3D目标检测方法，包括如下步骤：

步骤(1).获取车载摄像头采集的单目视图作为训练样本图像，并对训练样本图像中的目标对象进行标注，标注信息包括：相机的标定矩阵P、目标对象在图像上2D边框的中心位置(x_2d,y_2d)和宽高(w_2d,h_2d)、以及3D边框的中心位置(x_3d,y_3d,z_3d)、长宽高(l_3d,w_3d,h_3d)和偏航角(θ)；

步骤(2).图像预处理：对训练样本图像的R、G、B通道分别进行中心化和标准化处理，公式如下：