[发明专利]基于MobileNet-SSD的车辆测距系统及方法

权利要求书

1.基于MobileNet-SSD的车辆测距方法，其特征在于包括以下步骤：

步骤1：构建双目视觉系统，并对双目视觉系统的摄像头进行标定，建立相机图像像素位置与场景点位置之间的关系；

步骤2：双目摄像头同步采集左、右目图像；

步骤3：对左、右目图像进行目标车辆检测，确定首帧车辆区域，具体方法如下：

第一步：从双目摄像头采集的待测图像，采用基于HSV颜色特性的阴影检测算法分割出所有车底阴影区域，得到车辆ROI预选图像，确定可能存在车辆的图像，具体步骤如下：

(1)对于每一帧RGB图像转换为HSV图像；

(2)利用HSV颜色特性检测车底阴影，由于V分量对阴影的影响大，所以排除V分量的作用，而提取H和S分量的作用；定义如下阴影判别公式：

式中，H_c、S_c为当前处理帧图像的H、S分量值，H_b、S_b为背景图像的H、S分量值，T_sl、T_sh、T_hl、T_hh表示分割阈值，分割阈值由Otsu自动阈值分割算法获得；

(3)如果满足阴影判别公式，则判断像素点为阴影像素点，否则为非阴影像素点，从而得到车辆ROI预选图像；

第二步：建立正、负样本数据集，正样本数据集为不同条件下车辆图像，同时标注图像中车辆区域和非车辆区域；负样本数据集为不包含车辆的交通场景图像，消除环境对目标检测的干扰；

第三步：训练Mobi1eNet-SSD车辆检测模型，得到稳定的网络模型，具体步骤如下：

(1)将SSD的特征提取网络VGG16替换为去掉全局平均池化、全连接层和Softmax层的MobileNet特征提取网络，并在MobileNet网络后面增加八个卷积层以提高特征提取能力，从Conv11、Conv13、Conv142、Conv152、Conv162和Conv172六个卷积层产生不同大小的特征图以实现多尺度的检测，最后通过非极大值抑制过滤过度重合的结果，得到最终的输出；

(2)将正、负样本数据集输入MobileNet-SSD车辆检测网络进行训练，得到训练好的MobileNet-SSD车辆检测模型；

第四步：将可能存在车辆的图像在线输入MobileNet-SSD车辆检测模型，剔除非车底阴影区，检测出真正车底阴影区，获得首帧车辆区域；

步骤4：判断是否检测出首帧车辆，若否，则继续进行车辆检测，若是，则进行DeepSort目标车辆跟踪；

步骤5：根据MobileNet-SSD车辆检测模型所确定的首帧车辆区域，通过DeepSort目标车辆追踪的方法进一步确定车辆区域的坐标(x_i，y_i，w_i，h_i)，实时获得车辆区域的边框坐标信息，即在图像上显示一个框住车辆的矩形框，x_i，y_i坐标表示车辆区域左上角坐标相对图像的位置，w_i，h_i为车辆区域的宽度和高度，其中左目车辆跟踪时i＝l，右目车辆跟踪时i＝r；

步骤6：判断是否左目检测出车辆：

若否，则对左目车辆区域进行预估，设图像车辆区域的坐标为(x_l，y_l)，双目摄像头的是在同一y平面的，所以y_l＝y_r，其中x_l：

式中，b为基线长度，f为摄像头焦距，z为上一帧前方车辆离摄像头的距离，目标物宽度：w_l＝w_r，目标物高度：h_l＝h_r，得到预估车辆区域坐标(x_l，y_l，w_l，h_l)；

若是，则对右目车辆区域进行预估，设图像车辆区域的坐标为(x_r，y_r)，双目摄像头的是在同一y平面的，所以y_r＝y_l，其中x_r：

目标物宽度：w_r＝w_l，目标物高度：h_r＝h_l，得到预估车辆区域坐标(x_r，y_r，w_r，h_r)；

步骤7：对左、右目图像车辆区域坐标进行SGBM立体匹配，获得车辆区域匹配特征点总数为n个；

步骤8：根据视差原理计算区域点视差，求出目标物与当前车辆的区域平均距离：

其中平均视差：

2.基于MobileNet-SSD的车辆测距系统，采用如权利要求1所述的基于MobileNet-SSD的车辆测距方法，其特征在于包括标定模块、图像采集模块、检测模块、第一判断模块、第二判断模块、预估模块、跟踪模块、立体匹配模块和测距模块；标定模块、图像采集模块、检测模块依次连接，所述检测模块的输出端接第一判断模块，第一判断模块的输出端分别与第二判断模块和跟踪模块连接；立体匹配模块的输入端接跟踪模块和预估模块的输出端，立体匹配模块的输出端接测距模块；

所述标定模块用于对双目系统的两个摄像头进行标定，得到合适的双目摄像头参数；

所述图像采集模块用于为双目摄像头实时采集车辆前方的图像；

所述检测模块用于根据HSV颜色特性检测车底候选区域，并通过MobileNet-SSD进一步检测车底区域，确定首帧车辆区域；

所述第一判断模块用于判断是否检测出首帧图像，若否，则将信号接入检测模块的输入端继续进行车辆检测，若是，则将信号输出至跟踪模块进行DeepSort目标车辆跟踪；

所述第二判断模块用于判断哪目检测出车辆，而选择另一目图像进行车辆区域预估；

所述预估模块用于根据上一帧图像的距离信息对车辆区域预估；

所述跟踪模块用于根据第一判断模块的结果选择一目图像进行DeepSort目标车辆跟踪确定最终车辆区域；

所述立体匹配模块用于对左、右目图像车辆区域点进行SGBM立体匹配；

所述立体匹配模块的输出端接测距模块，测距模块用于计算区域平均车距并得到最终车距。