[发明专利]基于深度学习与双目摄像的自动驾驶目标检测系统及方法

权利要求书

1.一种基于深度学习与双目摄像的自动驾驶目标检测系统，包括图像采集模块、图像处理模块以及结果输出模块，其中，图像采集模块固定在试验车辆的前挡风玻璃后方，图像处理模块与结果输出模块位于图像处理计算机中，其特征在于：

所述图像采集模块采用双目摄像机进行图像采集，且该双目摄像机具备点云图像功能，可配合点云图像测算距离；图像采集模块通过数据线连接图像处理计算机，用于将采集到的图像传输给图像处理计算机中的图像处理模块；

所述图像处理模块为一种能够自动导入图像数据的检测模块，且该模块利用深度神经网络训练后的数据构建得到，用于对图像进行目标检测并对其中目标进行框定与分类；图像处理模块与结果输出模块通过图像处理计算机的内部程序实现数据传输；

所述结果输出模块用于对图像处理模块处理完成后的图像进行拼接，实现静态图片到运动视频的转换，并输出目标检测结果；

所述图像处理模块的具体构建步骤如下：

(2a)通过互联网收集至少20000张道路情况图片、在实际场景中制作至少15000张自动驾驶场景图片，这些图片共同组成自动驾驶场景数据集，由该数据集构成数据模块；

(2b)在数据训练计算机中，将数据模块中的数据集输入数据训练网络中，由数据训练网络中的深度神经网络通过GPU对数据集进行目标检测训练，训练过程包括：a.提取目标特征信息，b.确定目标位置、标定锚框，c.分类；得到分类结果，即目标检测训练结果，将该结果保存为权重数据；所述的深度神经网络为多种神经网络的组合，能够针对相同数据获得不同的学习特征结果；

(2c)利用(2b)得到的权重数据，在数据训练计算机中构建目标检测模块，实现当手动向目标检测模块中输入图像时，目标检测模块可以对该输入图像进行目标检测，并对其中目标进行框定与分类；

(2d)通过存储设备将目标检测模块移植到图像处理计算机中，并为目标检测模块增加自动导入图像数据的功能，得到图像处理模块。

2.根据权利要求1所述的系统，其特征在于：步骤(2d)所述的为目标检测模块增加自动导入图像数据的功能通过计算机语言编写程序实现，编程语言可使用Python语言或c++语言。

3.根据权利要求1所述的系统，其特征在于：所述双目摄像机采用适用于自动驾驶的车载摄像机，该摄像机包括1280*960与640*480两种分辨率，分别可以达到30帧与120帧，其水平拍摄角度为镜头正前方左侧45°到右侧45°范围内。

4.根据权利要求1所述的系统，其特征在于：所述摄像机采用5V、900mA供电，且所述摄像机至少包含一个USB3.0接口，用于实现与图像处理计算机之间的实时数据传输。

5.根据权利要求1所述的系统，其特征在于：所述点云图像是根据拍摄对象与摄像头之间的距离呈现出不同颜色的点状图，其包括八种不同颜色，分别为：粉、红、橙、黄、绿、青、蓝、黑，依次代表距离由近到远；点云图像由双目摄像机中的点云拍摄系统得到，其拍摄的有效距离至少为130米，该系统还带有柱状统计图，用于统计当前区域颜色分布。

6.一种基于深度学习与双目摄像的自动驾驶目标检测方法，其特征在于包括以下步骤：

(1)图像采集模块通过双目摄像机实时拍摄车辆运行前方的道路图像，包括道路前方行人、车辆和障碍物，并将这些路面信息拍摄为图片存储；同时，摄像机通过自身的点云图像功能获取拍摄画面的点云信息并存储；

(2)实时拍摄到的路面信息和点云信息经过数据连接线传输到图像处理计算机中，其中点云信息被长期保存于图像处理计算机中，等待需要距离信息时使用；路面信息暂存于该计算机中；

(3)图像处理模块自动导入在图像处理计算机中暂存的路面信息，即摄像机实时拍摄的车辆运行前方的道路图像；

(4)图像处理模块对道路图像进行扫描，检测图像是否存在目标，在包含目标的区域生成矩形框，并对于生成的矩形框内的目标根据训练结果进行种类判别，选取相应的类别名称标注在矩形框左上角，对不包含目标的区域不做处理；最终得到目标被矩形框框出、目标类别显示在矩形框左上角的处理结果图，即目标检测结果；

(5)图像处理模块处理完大量图像之后，将得到的目标检测结果传入结果输出模块，该模块将图像按照时间顺序组合成视频并输出，即得到当前车辆运行前方的实时目标检测场景；同时，使用目标检测结果与步骤(2)中长期保存于图像处理计算机中的点云信息进行对比，得到目标的距离信息并保存。