[发明专利]一种前方小区域物体识别及车辆预警方法

权利要求书

1.一种前方小区域物体识别及车辆预警方法，其特征在于，包括如下步骤：

步骤一、获取车辆前方待识别目标图像，并获取感兴趣区域ROI图像；

具体如下：

1)车辆在行驶过程中，车辆前方采用毫米波雷达向前方发射毫米波探测车辆前方目标，并通过摄像机拍摄车辆前方图像；

2)建立毫米波雷达坐标系和图像像素坐标系之间的转换关系，将毫米波雷达坐标转换成图像像素坐标；

3)毫米波雷达提取车辆前方目标信息，信息包括车辆前方目标相对毫米波雷达的角度Angle、距离Range、相对速度RangeRate以及车辆前方目标的编号ID，并根据所提取的距离信息获取待识别目标，同时通过摄像机拍摄待识别目标图像；

具体待识别目标的获取步骤为：

①距离Range>100m，判定目标为远处的大物体，予以排除；

②1m<距离Range<100m,判定目标为近处的小物体，确定为有效目标，即待识别目标，予以保留；

4)将毫米波雷达坐标系下的毫米波雷达扫描点投影到图像像素坐标系，根据投影点在待识别目标图像上建立感兴趣区域ROI，并获取感兴趣区域ROI图像；

步骤二、对步骤一所得到的感兴趣区域ROI图像进行图像预处理，输入卷积神经网络结构模型中，进行目标识别，输出目标回归框和目标类别：

1)图像预处理：将感兴趣区域ROI图像重新设定成规格为448×448的图像；

2)搭建卷积神经网络结构模型进行目标识别，卷积神经网络结构模型采用改进的YOLO卷积网络结构模型；

改进的YOLO卷积网络结构模型共分为八个模块，首先是网络的输入模块即第一层，接着是卷积层加下采样层的组合模块即第二、三层之间，第三个模块是初始模块inception module和下采样层的组合即第四、五层之间，第四个模块为一组级联的卷积层即第六层，第五个模块是一个多层特征融合层即第七层，第六模块是卷积层即第八层，第七个模块是一个全连接层即第九层，第八模块是一个输出层即第十层，其中下采样层采用最大下采样，具体包括如下步骤：

①第一层，输入的图像规格为448×448，然后采用64个规格为7×7的卷积核对原始图像做卷积操作，步长s为2，卷积操作后，生成64个特征图，且特征图尺寸缩减至规格为224×224，然后下采样，设定下采样规格为2×2，步长为2，最后输出64个规格为112×112的特征图；

②第二层，用64个规格为1×1的卷积核对上层输出进行卷积，步长为1，进行降维，接着使用192个规格为3×3的卷积核去卷积上层输出，生成192个规格为112×112的特征图，再经过步长为2，规格为2×2的最大下采样层，最后输出192个规格为56×56的特征图；

③第三层，采用初始模块inception module和下采样的组合模块，其中初始模块inception module包括第一初始模块和第二初始模块，第一初始模块首先分别采用规格为1×1，3×3，5×5的卷积核将原始输入拓宽为四个网络宽度，并且前一层先分三路进行规格为1×1的卷积，最后一路使用最大池化操作，再次分别进入规格为3×3，5×5和1×1的卷积核，最后，将四路所得的特征汇总，一并输出，第一初始模块中最后输出256个规格为56×56的特征图，再经过第二初始模块结构，输出则变为480个规格为56×56的特征图，再经过一个步长为2，池化规格为2×2的最大池化操作，输出480个规格为28×28的特征图；

④第四层，原始图像在经过第三层初始inception和最大池化操作后，该输出再作为输入进入第四层，同样经过四路分支又合并的两组的初始inception后，输出512个规格为28×28的特征图，再经过步长为2，池化规格为2×2的最大池化操作后，输出512个规格为14×14的特征图；

⑤第五层，采用级联不同规格和数量的卷积核操作，将第四层最后输出的特征图经过六次卷积操作，前五次的步长为1，最后一次是1024个规格为3×3的卷积核，步长为2，输出的特征图为1024个规格为7×7的特征图；

⑥第六层，为第五层所输出的1024个规格为7×7的特征图；

⑦第七层，采用多层特征融合方法，将第四层输入的480个规格为28×28的特征图与第六层1024个规格为7×7的特征图进行特征融合，第四层采用下采样得到480个规格为14×14的特征图，第六层采用上采样得到1024个规格为14×14的特征图，最后融合形成1504个规格为14×14的特征图；

⑧第八层，将融合的特征图进行两组1024个规格为3×3的卷积操作，便得到了输出为1024个规格为7×7的特征图；

⑨第九层，进行全卷积，共有4096组滤波器，每组滤波器含有1024个卷积核，每个卷积核规格为7×7，则输出为4096个规格为1×1的特征图；

⑩第十层，再进行一次全卷积，网络输出张量个数为S×S×(B×5+C)，其中S代表图像划分的格数，B代表预测目标回归框的个数，C代表标注的类别，然后将网络预测的类别以及网络筛选好的物体框在图片上显示出来，进行目标的识别；

其中，改进后YOLO卷积网络的损失函数公式为：

λcoordΣi=0S2Σj=0BIijobj[(xi-xi′)2+(yi-yi′)2]+λcoordΣi=0S2Σj=0BIijobj[(wi-wi′wi′)2+(hi-hi′hi′)2]+Σi=0S2Σj=0BIijobj(ci-ci′)2+λnoobjΣi=0S2Σj=0BIijnoobj(ci-ci′)2+Σi=0S2IiobjΣc∈class(pi(c)-pi′(c))2]]>

其中λ_coord表示计算损失时坐标偏差的权重参数，λ_noobj表示计算损失时预测框无目标的权重参数，表示落在第i号位置区域的第j号物体框对该区域识别合理，表示落在第i号位置区域的第j号物体框对该区域识别不合理,表示目标物体出现在第i号位置区域中；x_i和y_i代表第i号位置区域的实际坐标位置，x′_i和y′_i代表第i号位置区域的预测坐标位置，w_i和h_i代表第i号位置区域的实际宽度和高度，w′_i和h′_i表示第i号位置区域的预测宽度和高度，c_i表示第i号位置区域实际类别,c′_i表示第i号位置区域预测类别，class表示所需要识别物体的总类别,c∈class表示C代表的标注类别属于class所包含的类别，p_i(c)表示该物体属于c类物体的实际概率，p′_i(c)表示该物体属于c类物体的预测概率；

步骤三、将识别输出结果输入车辆预警系统，目标回归框的位置位于车辆行驶路线范围外或识别目标为非危险种类时，标记为非危险目标，车辆不预警；目标回归框的位置位于车辆行驶路线以内且识别的物体为危险种类以及无法识别的物体并具有一定的速度特征时，标记为危险目标，车辆预警，提醒驾驶员注意以避免事故发生。