[发明专利]一种基于多任务卷积神经网络的前方车辆参数识别方法

摘要

本发明公开了一种基于多任务卷积神经网络的车辆多参数识别方法，包括以下步骤：卷积神经网络结构的设计及训练；基于卷积神经网络的车辆参数识别。本发明采用卷积神经网络，使原始数据通过简单而非线性的模型转变成为更抽象的高层表达。因此，卷积神经网络能够从大量的训练样本中学习到反映待识别目标本质的隐性特征；相比浅层学习分类器，具有更强的可扩展性，满足交通环境中的多类目标的识别，识别精度也更高。尤其应用于复杂的交通环境当中，本发明体现出很强的抗环境干扰能力。本发明将卷积神经网络的应用扩展到车辆的多参数识别，以训练好的卷积神经网络识别图像中车辆的类型特征、位姿信息及车灯状态，增强了车辆潜在行为的可预知性。

主权项

1.一种基于多任务卷积神经网络的车辆多参数识别方法，其特征在于：包括以下步骤：A、卷积神经网络结构的设计及训练A1、卷积神经网络是一种深度学习理论基础上的权值共享多层神经网络；卷积神经网络的输入图像W为RGB‑D图像，即一种包含彩色及深度信息的四通道颜色深度图像；为了修正场景中光照不均、突出图像的边缘特征、加快卷积神经网络训练的快速收敛，将输入图像W进行局部对比度归一化的预处理，表示形式为：式中：μ、σ分别是以像素点(i,j)为中心的局部小邻域内的像素均值和标准差，所述的局部小邻域大小为2×2～4×4；C是常数；I是像素点(i,j)的灰度值，(i,j)∈W；卷积神经网络的隐含层由4个卷积层组及一层全连接层组成；其中，每个卷积层组都包括卷积操作、线性修正激活函数ReLU修正特征图和平均池化操作；输出层的神经元个数应与待识别目标类别数量相一致；对于隐含层中所有的卷积过程来说，设定它们的卷积核数目均相同，也就有卷积输出的特征图数目相同，而特征图是由相应层的神经元权值共享的神经元集合，每个神经元的输入与前一层的局部感知域相连，并提取该局部感知域的特征；卷积过程的形式表示为：式中：f(·)是卷积层的激活函数；代表第l卷积层的第j个神经元向量；是当前层的输入神经元；k是卷积核；M_j代表选择的输入特征图的集合；b是偏置；其中，上标l表示隐含层层数索引号、在本公式中取值l∈{1,3,5,7}，下标i、j＝1,2,3,……，表示第l或l‑1层的神经元索引号；池化操作的形式表示为：式中：g(.)是池化层的激活函数；pool(·)是池化函数，表示对前一层图像的一个n×n的区域求和；β是权值，b是偏置，每一个输出的特征图都对应一个权值和偏置；其中，上标l表示隐含层层数索引号、在本公式中取值l∈{2,4,6}，下标j＝1,2,3,……，表示第l或l‑1层的神经元索引号；A2、卷积神经网络采用离线训练的方式进行训练，训练样本图像为基于车载RGB‑D视觉系统采集到的具有深度信息的彩色图像；训练前将所有的权值初始化为[‑a,a]区间内的随机数，a是10^‑2数量级的实数；训练分为两个阶段：信号前向传播阶段和误差后向反馈阶段；当卷积神经网络的实际输出值与期望输出值的误差保持在预设范围内即终止卷积神经网络训练，并保存卷积神经网络结构，适用于交通场景的车辆参数识别的多任务卷积神经网络训练完毕；B、基于卷积神经网络的车辆参数识别B1、由卷积神经网络直接识别车辆类型及朝向信息车底阴影是车辆的显著特征之一；采用现有阴影分割的方法获取图像中车辆的阴影候选区域，作为卷积神经网络识别车辆目标的定位区域；由于训练后的卷积神经网络已具备充分的识别性能，能够直接识别出检测图像中车辆的朝向及车型特征，所述的车型特征分别为大型车、中型车、小型车和非机动类车型；将由车底阴影确定的车辆候选区域图像输入到训练好的卷积神经网络中进行车辆识别，以有效减少网络的输入及背景区域的干扰作用，提高识别效率；B2、显性特征辅助卷积神经网络实现灯光状态的识别引入显性特征有效缩减卷积神经网络的参数数目，辅助卷积神经网络完成其他参数的识别与分类，并形成一种多任务卷积神经网络结构；交通场景中，车辆的灯光信号状态是车辆之间进行信息传递的方式；车辆行驶中前车通过车灯状态告知本车此时的行进状态，以避免发生意外；所述的行进状态包括：车尾的制动红灯亮起表示车辆刹车制动；车辆转向黄灯闪烁表示车辆变道或转弯；危险报警闪光灯应开启即左右转向灯同时闪烁表示车辆发生故障；因此，基于车灯状态的不同，推断车辆的行进状态；颜色特征作为物体表面的本质特征之一，在人类视觉感知中是直接并且重要的信息；采用颜色分割的方法分割出颜色信息，将颜色信息输入到卷积神经网络的全连接层进行分类，卷积神经网络结合车辆的朝向识别以“辨别”出识别到的车灯的开启状态；并在识别结果的基础上，继续使用左、右尾灯车灯区域亮度的平均值来比较，如果左侧区域值大于右侧值，则判断是左转；反之亦然；最终识别出车辆的行进状态。