[发明专利]一种基于时空同步与信息融合的路面附着系数估计方法

权利要求书

1.一种基于时空同步与信息融合的路面附着系数估计方法，首先同时采集车辆前方路面图像信息和车辆动力学响应信息；通过语义分割网络提取采集得到的车辆前方路面图像中有效的路面区域，再送入路面类型识别网络得到路面类型识别结果，同时，根据采集得到的车辆动力学响应信息，采用无迹卡尔曼滤波器估计方法得到路面附着系数估计值；然后通过时空同步方法筛选得到满足融合条件的路面类型识别结果与路面附着系数估计值；最后判断预设的路面类型识别结果的置信度门限值与加权概率值对比结果，融合输出最终的路面附着系数估计值，其特征在于，具体步骤如下：

步骤一、同时采集前方路面的图像信息及车辆动力学响应信息

车辆前方路面的图像信息由型号为USB30-AR023ZWDR的单目视觉传感器采集得到，采集得到的图像分辨率为1920×1080，每秒采集30张图像，单目视觉传感器布置在车内位于车辆前风挡玻璃正上方位置，调整高清动态摄像头的视角，使高清动态摄像头拍摄的图像下界刚好位于车辆引擎盖边沿，使得高清动态摄像头拍摄的路面图像占五分之三以上，由于单目视觉传感器的安装位置和最大有效距离的限制，确定前方路面的图像信息中有效路面区域为车辆质心处前方5至50米范围内，单目视觉传感器输出的图像信息通过USB传输到车载工控机，按固定频率10Hz读取；

车辆动力学响应信息包括四个车轮的轮速信息、转向盘转角信息、车速信息、车辆纵向加速度信息、车辆侧向加速度信息和车辆横摆角速度信息，分别由车身传感器及GPS/INS惯导组合系统采集得到，其中车身传感器包括车辆四个车轮的轮速传感器和转向盘转角传感器，分别采集四个车轮轮速信息和转向盘转角信息，车身传感器采样频率设置为100Hz，通过CAN总线连接到车载工控机；

GPS/INS惯导组合系统型号为OXTS RT2500，布置在车辆质心位置并与车辆刚性连接，用于采集车速信息、纵向加速度信息、侧向加速度信息和横摆角速度信息，此外，GPS/INS惯导组合系统也同时输出UTC时间并记录车辆GPS位置信息作为时间和空间同步基准，GPS/INS惯导组合系统通过CAN总线传输到车载工控机，刷新频率设置为100Hz；

车载工控机型号为Nuvo-6108GC，安装有双通道Kvaser mini PCI-Express CAN/CANFD适配器；

单目视觉传感器、车身传感器及GPS/INS惯导组合系统采集到的信息传输到工控机的之后，经过数据初始化，将车辆动力学响应信息实时存储到同一文件中，保存为csv格式，同时将图像和车辆动力学响应信息插入以GPS/INS惯导组合系统输出的UTC时间为基准的时间戳，通过Excel中Visual Basic for Applications编辑器实现时间戳数据更新；

步骤二、得到路面类型分类识别结果和路面附着系数估计值

在车载工控机上加载预训练好的语义分割网络和预训练好的路面类型分类识别网络，然后车载工控机按固定频率10Hz读取采集得到的路面图像信息并送入语义分割网络，经过语义分割网络和掩膜处理，去除图像中环境物体和其他车辆，得到只包含有效路面区域的样本图像；将只包含有效路面区域的样本图像再送入路面类型识别网络，识别得到路面类型结果；

语义分割网络选用ERFNet，用于对图像进行分割以提取有效路面图像区域，采用cityscapes自动驾驶数据集预训练网络模型，模型为编码器和解码器结构，其中编码器包括分解卷积层non-bottleneck-1D和下采样层Downsampler block，语义分割网络模型ERFNet的结构如下表1所示：

表1 ERFNet的结构

层	类型
1-2	2×Downsampler block(下采样)
3-7	5×Non-Bottleneck-1D
8	Downsampler block(下采样)
9	Non-Bottleneck-1D(dilated 2)
10	Non-Bottleneck-1D(dilated 4)
11	Non-Bottleneck-1D(dilated 8)
12	Non-Bottleneck-1D(dilated 16)
13	Non-Bottleneck-1D(dilated 2)
14	Non-Bottleneck-1D(dilated 4)
15	Non-Bottleneck-1D(dilated 8)
16	Non-Bottleneck-1D(dilated 16)
17	Deconvolution(上采样)
18-19	2×Non-Bottleneck-1D
20	Deconvolution(上采样)
21-22	2×Non-Bottleneck-1D
23	Deconvolution(上采样)

首先是预训练ERFNet，采用cityscapes数据集训练语义分割网络，该数据集包含30类语义类别，包括车辆、行人、交通标识物、建筑物及路面区域，先将cityscapes数据集转换成TFRecord格式，以降低存储空间占用率，保证网络模型能够快速读取数据，提高处理效率，将读取的图片张量按照0.25步长在0.5倍和2倍之间随机缩放尺寸，以769×769像素大小随机裁剪图片张量并随机左右翻转，以达到数据增强的目的，提升分割网络的适应性，训练时选用Poly学习率规则，学习率衰减表达式为式(1)：

其中初始学习率LR_initial为0.001，训练迭代步数为iter，最大训练步数max_iter设置为2000×10³步，power设置为0.9；

根据车载工控机硬件性能，设置批处理大小为batch_size＝8，每隔10分钟保存一次模型参数，同时使用验证集对网络进行性能评估，评估指标采用平均交并比，即MeanIntersection over Union，后面简写为MIoU，表示对每一类预测结果和真实值的交集与并集的比值，求和再平均的结果，如式(2)：

其中TP,FP,TN,FN见混淆矩阵定义，如表2所示：

表2 混淆矩阵

经过预训练，MIoU指标为0.696，精度满足要求，将路面图像经过语义分割网络ERFNet处理，得到结果为不同语义类别在图像上所处的位置，用不同的RGB值区分，RGB颜色标准是一种常用的图像色彩体系，其中的R表示红色，G表示绿色，B表示蓝色，通过这三个颜色通道的不同变化及相互叠加，能够产生各式各样的几乎包含人类所能感知的所有颜色，每个颜色通道的取值范围为0-255，在计算机语言中可以用8个bit来表示，整个图像即为24位深度，其中路面区域对应的RGB值为(128,64,128)，每个图像的平均处理时间为0.078秒；

语义分割网络得到路面区域在图像中所处的位置和对应的RGB值，将路面区域的RGB值看作感兴趣区域，借助数字图像处理方法中的掩膜从图像中提取路面区域；

掩膜的处理过程如下，首先对语义分割预测结果图进行切片操作，获取三个颜色通道的二维矩阵，OpenCV中处理图片时三通道分别对应RGB，由于路面区域对应的RGB值为(128,64,128)，首先制作红色通道的掩膜，即满足识别结果图中R值为128的像素点对应掩膜值为1，其他处为0，然后制作出绿色通道的掩膜，满足识别结果图中G值为64的像素点对应的掩膜值为1，其他处为0，最后制作出蓝色通道的掩膜，满足识别结果图中B值为128的像素点对应的掩膜值为1，其他处为0，并且只保留满足三个通道值都为1的像素点，而某一通道像素点值为0时，其他通道对应像素点置零，保证只提取路面区域，最后将三颜色通道的掩膜拼接，与原图对应通道分别进行矩阵点乘运算，便提取得到了仅包含路面区域的样本图像，非路面区域转变为黑色，掩膜的平均处理时间为0.0046秒；

经过语义分割和掩膜处理，得到仅包含路面区域的样本图像，送入路面类型识别网络进行识别，得到识别结果为路面类型，其中路面类型包括日常生活中常见的路面类型，分别为干沥青、湿沥青、干水泥、湿水泥、砖铺路、松雪、压实雪、冰膜8种路面类型，路面类型对应的路面附着系数不是一个固定值，而是一个范围值，参考《GA/T643-2006典型交通事故形态车辆行驶速度技术鉴定》中汽车纵滑附着系数参考值表和冰雪路面的汽车纵滑附着系数参考值表，考虑到路面附着系数与路面磨损、轮胎磨损以及空气温度湿度影响因素有关，并且在不同行驶车速下路面附着系数范围值也存在着差异，为此设定了如表3所示高速行驶和低速行驶两种情况下的不同路面类型与附着系数范围值对照表：

表3 不同路面类型与附着系数范围值对照表

路面类型	附着系数(48km/h以下)	附着系数(48km/h以上)
干沥青	0.55-0.8	0.45-0.7
湿沥青	0.45-0.7	0.4-0.6
干水泥	0.55-0.8	0.5-0.75
湿水泥	0.45-0.75	0.45-0.65
砖铺路	0.5-0.8	0.45-0.7
松雪	0.2-0.45	0.2-0.35
压实雪	0.1-0.25	0.1-0.2
冰膜	0.1-0.2	0.1-0.15

用于对语义分割和掩膜处理得到的有效路面区域样本图像进行类型识别的网络为YOLO-V3，YOLO-V3是一个全卷积网络，通过残差的跳层连接，使用步长为2的卷积进行下采样，YOLO-V3的结构如下表4所示：

表4 YOLO-V3的结构

用于训练YOLO-V3的数据集是根据表3定义的8种路面类型采集得到的8000张图像，每类1000张，然后打乱数据集按20％比例随机抽取每类200张图像作为验证集，剩余800张图像作为训练集，最后的训练结果准确率为97.8％，单张图像的平均识别时间为0.0095秒，语义分割网络、掩膜及识别网络的平均处理时间总和为0.0921秒，满足精度和实时性满足要求；

保存路面类型分类识别结果数据，首先记录当前GPS/INS惯导组合系统输出的UTC时间，将路面类型识别结果记为index，然后通过查询表3得到该路面类型对应的路面附着系数范围值，下限记为a，上限记为b，取其平均值作为不同路面类型对应附着系数的先验值μ_P，即μ_P＝(a+b)/2，以矩阵[index a b μ_p]形式保存路面类型分类识别结果数据；

与此同时，车辆动力学响应信息输入到无迹卡尔曼滤波器估计得到车辆当前位置的路面附着系数，首先建立车辆动力学模型，由于采用动力学响应信息估计路面附着系数的方法关注车辆的纵向运动、侧向运动和横摆运动，所以对车辆模型进行简化和假设：忽略较小的空气阻力和滚动阻力；假设车辆行驶在水平路面上，忽略侧倾运动和俯仰运动；忽略悬架的作用，假设车轮和簧载质量部分之间是刚性连接；每个轮胎的轮胎特性一致；为了方便研究车辆动力学响应特性，需要建立一套规范化的坐标系，定义如下的车辆动力学坐标系：

车身坐标系：选用ISO标准坐标系，以车辆质心处作为坐标原点O，车辆行驶方向为x坐标轴正方向且平行于路面，z坐标轴垂直路面向上，由右手定则可以得到y坐标轴的正方向；

轮胎坐标系：同样采用ISO标准坐标系，选取轮胎悬挂中心作为坐标原点，每个轮胎都有自己的参考坐标系；轮胎前进的方向为x坐标轴正方向且平行于路面，z坐标轴垂直路面向上，由右手定则可以得到y坐标轴的正方向；当车辆直线行驶时轴线方向与车身坐标系相一致，而转向时存在轮胎转向角，即轮胎坐标系相对车身坐标系旋转一定角度；

根据达朗贝尔原理，推导车辆动力学方程：

车辆沿x轴运动：

a_x＝((F_xfl+F_xfr)cosδ_f-(F_yfl+F_yfr)sinδ_f+F_xrl+F_xrr)/m (3)

式中，F_xfl表示左前轮纵向轮胎力、F_xfr表示右前轮纵向轮胎力、F_xrl表示左后轮纵向轮胎力、F_xrr表示右后轮纵向轮胎力，δ_f为前轮转角，m为整车质量，

车辆沿y轴运动：

a_y＝((F_xfl+F_xfr)sinδ_f+(F_yfl+F_yfr)cosδ_f+F_yrl+F_yrr)/m (4)

车辆绕z轴运动：

式中，I_z为绕z轴的转动惯量，横摆力矩M_z计算公式如下：

式中，L_f为车辆质心到前轴的距离，L_r为车辆质心到后轴的距离，B_f为前轮轮距，B_r为后轮轮距，式(3)、式(4)及式(6)中的纵向轮胎力和侧向轮胎力通过魔术公式求解：

y＝Dsin(Carctan(Bx-E(Bx-arctanBx))) (7)

满足：

其中，Y表示输出变量为纵向轮胎力或者侧向轮胎力，X表示输入变量，当Y表示纵向轮胎力时，X为纵向滑移率κ；当Y表示侧向轮胎力时，X为轮胎侧偏角α；B为刚度因子，C为形状因子，D为峰值因子，E为曲率因子，S_H为水平偏移，S_V为垂直偏移；

为了避免在车速较低的情况下轮胎性能不稳定，选用低速门限值v_low计算纵向滑移率κ_i：

式中，w_i为车轮转速，R_e为车轮滚动有效半径，低速门限值设为v_low＝0.1km/h，v_xi为轮心坐标系下的纵向速度；

车辆四个车轮的垂直载荷为：

式中，h为车辆质心到地面的距离，K_fφ表示前轴侧倾角刚度，K_rφ表示后轴侧倾角刚度；

选取四个轮的附着系数作为估计系统的状态变量，记为：

x＝[μ_fl μ_fr μ_rl μ_rr]^T (11)

选取前轮转角作为估计系统的输入信号，记为u＝δ_f；选取传感器测量得到的纵向加速度、侧向加速度和横摆角加速度作为估计系统的观测变量，记为，

估计系统为：

式中，估计系统的状态方程为f(x,u)＝I_4×4·x，I_4×4为4阶单位矩阵；测量方程h(x,u)由式(3)、式(4)和式(5)组成，将式(13)离散化得到非线性差分方程的形式：

式中，离散化后的状态方程为T为采样时间，w_k和v_k分别为过程噪声和测量噪声，无迹卡尔曼滤波器的状态变量初始值为x₀＝[1 1 1 1]^T，估计误差协方差矩阵初始值为P₀＝0.01×I_4×4，过程噪声协方差矩阵初始值Q_k＝I_4×4，测量噪声协方差初始值R_k＝0.01×I_4×4，其中I_4×4为单位矩阵，采样时间T设置为0.001秒，均值和协方差矩阵满足：

通过无迹卡尔曼滤波器估计路面附着系数的流程如下：

(1)初始化，设置无迹卡尔曼滤波器的参数，包括估计系统的状态变量初始值为x₀，估计误差协方差矩阵初始值为P₀；

(2)时间更新，建立Sigma采样点χ_i,k：

式中λ表示为随机变量均值和Sigma采样点之间距离的比例因子，假设k-1时刻得到的状态估计值为和估计误差协方差为以及权重为W_i^m和W_i^c的Sigma采样点采样点经过方程之后，再通过加权求和得到k时刻先验估计值和误差协方差

(3)量测更新过程

根据此时状态变量x的均值和协方差的最好估计分别是和再次选取一组Sigma采样点然后将采样点经过非线性测量方程的传递，即再通过加权求和得到k时刻测量值估计结果和协方差矩阵：

最后可以计算得到UKF滤波增益矩阵K_k，并结合在k时刻得到的传感器测量值y_k，进一步推导出k时刻状态变量的后验状态估计值和估计误差协方差

随着当k值不断增加，迭代完成整个估计算法，得到车辆当前位置的路面附着系数的估计值记为μ_D，并记录当前GPS/INS惯导组合系统输出的UTC时间；

步骤三、通过时空同步方法筛选满足融合条件的车辆前方路面图像类型结果和路面附着系数估计值

车辆经过t_k时间行驶到了x_k位置，即t_k时刻，车辆质心位置在x_k位置，此时得到x_k位置的路面附着系数估计值μ_D；

由于单目摄像头在P_i点采集到的车辆前方路面图像传输到车载工控机，并经过语义分割网络、掩膜和路面类型识别网络在线处理识别之后才能得到路面类型结果，经过这段处理时间之后，车辆行驶到了P′_i点，查找t_k时刻之前同时满足以下条件的路面图像：

(1)在t_k时刻之前已完成路面类型识别；

P′_i≤x_k (25)

(2)在t_k时刻，车辆位置x_k在P_i图像中的路面区域内；

P_i+5≤x_k≤P_i+50 (26)

步骤四、将车辆前方路面类型识别结果与路面附着系数估计值通过融合策略最终输出具备预测性和准确性的路面附着系数估计值

在t_k时刻，根据时空同步方法查找t_k时刻之前最为邻近的10个路面图像样本点，位置为P_i(i＝1,2,…,10)，路面类型识别结果为Index_i，其中i数值越大的样本与t_k时间间隔越短，拍摄图像时的位置离x_k越近，图像识别结果置信度越高；预设权值系数w_P,i，i越大则w_P,i越大，并且满足式(27)：

检测10个样本点中相同Index值的加权求和概率值，其中j＝0,1,…,7，表示8个路面类型；

通过比较找到其中的最大概率值p_max和其对应的Index值，表示最为可信的路面类型识别结果；最终得到t_k时刻用于融合算法的图像识别结果[Index_k a_k b_k]，预设图像识别置信度门限值p_CF，确立如下的融合规则：

(1)若p_max＜p_CF，说明路面特征并不明显，或路面图像数据库中并未建立此类图像样本集，此时输出最终的附着系数结果以动力学估计为准，即μ＝μ_D；保存此刻的一组路面图像和先验值μ_p＝μ_D，更新图像样本库用于训练更新分类网络；

(2)若(p_max≥p_CF)∩(a_k≤μ_D≤b_k)，说明路面图像特征明显，路面类型识别结果置信度较高，并且与动力学估计结果相一致，此时输出最终的附着系数结果为μ＝μ_D，并更新图像识别结果的先验值μ_p＝μ_D；

(3)若(p_max≥p_CF)∩((μ_D＜a_k)∪(μ_D＞b_k))，说明路面类型识别结果置信度较高，但与动力学估计结果不一致，采用的概率密度函数截断法通过附着系数范围(a_k,b_k)作为约束条件用于校正动力学估计结果，校正后的附着系数估计值为此时的最终结果，记为μ＝μ_C；

概率密度函数截断法包括：假设在t_k时刻得到了无迹卡尔曼滤波器的后验状态估计值和估计误差协方差见式(23)和式(24)，和s个标量状态约束条件：

式中，为状态变量的线性函数，a_ki和b_ki分别为最小和最大约束边界值；问题转化为存在s个约束边界将概率密度函数截断，通过求取截断后的概率密度函数，得到满足约束条件后的均值和协方差

对于s个约束条件进行逐个处理，将满足前i个约束条件的状态估计值记为协方差为当i＝0时则满足：

可通过以下线性变换来解决多维状态变量的概率密度函数截断问题：

式中，x_k为待估计的随机状态变量，z_ki为经过变换后新的随机状态变量，T和W为的标准约当分解矩阵，即满足T为正交阵，W为对角阵，其平方根矩阵容易得到，ρ为n×n维正交矩阵，并且满足：

根据以上结论可将一般性的双边线性约束转换为规范化的标量限制条件，即有如下形式的转换,得到了随机变量z_ki的约束边界的上限值d_ki和下限值c_ki：

因为随机变量z_ki的误差协方差矩阵为单位阵，则其各个分量在统计意义上相互独立，并且只有第一个元素受到约束限制，见式(33)和式(34)，所以原来x_k的多维联合概率密度函数截断转换成了z_ki的一维概率密度函数截断问题，在受到约束前即i＝0时z_ki的第一个元素服从标准正态分布N(0,1)，即满足：

已知新的约束边界后，通过去除原pdf(z_ki)中约束边界之外的部分，计算余下部分的概率密度函数总面积：

式中，误差函数定义为：

将被约束边界截断后的概率密度函数进行归一化，便得到z_ki的第一个元素受约束后的概率密度函数，记为pdf(z_k,i+1)：

其中，

z_k,i+1的均值和方差计算公式如下：

于是便得到了满足第一个约束条件后的随机变量z_ki的状态估计均值和协方差：

对式(31)进行反变换，得到满足第一个约束条件后的随机变量x_k的状态估计均值和协方差：

对i进行加1，重复式(31)到式(43)，直至满足所有s个约束条件，通过概率密度函数截断法得到最终满足所有约束条件的状态估计误差和协方差：

这样，无迹卡尔曼滤波器输出的路面附着系数通过概率密度函数截断法便可以得到满足约束条件(a_k,b_k)的路面附着系数μ_C。