[发明专利]一种基于多尺度特征融合的拖牵过程安全预警方法

权利要求书

1.一种基于多尺度特征融合的拖牵过程安全预警方法，其特征在于：其操作步骤具体如下：

1.1、对采集的被拖车所在后方区域图像I₀进行复制，得到彩色图像I₀′；后将图像I₀′缩小为原图大小的得到图像I₁；接着对I₁进行截取，得到车牌感兴趣区域图像I₂，截取范围为：在像素坐标系中x₁取值范围为(w₁/5,3×w₁/5)，y₁取值范围为(h₁/3,2×h₁/3)，其中x₁、y₁是图像I₂中图像点横、纵坐标，w₁、h₁是图像I₁宽、高；

1.2、将车牌区域作为当前帧图像的大尺度特征，对车牌感兴趣区域图像I₂，进行大尺度特征提取操作，得到大尺度特征的位置信息，其具体步骤如下：

1.2.1、基于颜色特征的图像分割：

首先根据颜色空间转化公式，将彩色图像I₂从红绿蓝空间转化为HSL空间；然后对HSL空间的车牌感兴趣图像的像素点进行遍历，符合蓝色阈值范围的像素点的灰度值置为255，否则为0，得到颜色分割后的图像，蓝色像素点阈值范围为：

h∈[h_min,h_max],s∈[s_min,s_max],l∈[l_min,l_max] (1)，

其中h、s、l分别表示像素点的色调、饱和度、亮度，h_max、h_min是色调分量的高、低阈值，s_max、s_min是饱和度分量的高、低阈值，l_max、l_min是亮度分量的高、低阈值；

1.2.2、形态学处理：

对颜色分割后的图像采用3×3大小的矩形结构元素进行腐蚀操作，去除小块噪声区域；然后采用3×5大小的矩形结构元素进行膨胀操作，填补字符间孔洞，连通车牌区域，得到T个大小及形状不同的连通区域C_t，t＝1,2,3...T；其中t表示连通区域C_t的序号，T为区域总数；

1.2.3、车牌定位：

统计每个连通区域横坐标最大值x_maxt、最小值x_mint与纵坐标最大值y_maxt、最小值y_mint；其次根据公式(2)计算每个连通区域的长宽比，公式如下：

式中，r_t为连通区域C_t的长宽比，x_maxt、x_mint、y_maxt和y_mint分别为连通区域C_t横坐标最大值和最小值、纵坐标最大值和最小值，t表示连通区域C_t的序号，t＝1,2,3...T，T为连通区域的总数；

然后按照条件(3)进行筛选：若长宽比满足条件(3)，则保留对应的连通区域，否则剔除；筛选条件如下：

r_min≤r_t≤r_max (3)，

其中，r_t为连通区域C_t的长宽比，r_min、r_max分别表示长宽比的低、高阈值；

若筛选后的连通区域个数为0，表示车牌定位失败，返回步骤(1.1)；否则对筛选后的连通区域进行面积计算，挑选出面积最大的区域，即车牌区域，从而得到在图像I₂中车牌区域的左上角顶点坐标(x_p2,y_p2)、宽w_p2和高h_p2；接着根据几何关系，将车牌区域映射到原图像I₀上，得到大尺度特征的位置信息，即相应的车牌区域的左上角顶点坐标(x_p0,y_p0)、宽w_p0和高h_p0；映射关系如公式(4)所示：

式中，w₁、h₁分别是图像I₁的宽和高，k为图像缩放比例；

最后根据车牌位置信息对原图像I₀进行截取，得到原图像上车牌区域图像I₃，截取范围：x₀取值范围为(x_p0,x_p0+w_p0)，y₀取值范围为(y_p0,y_p0+h_p0)；其中x₀、y₀分别是图像I₀中图像点横、纵坐标，(x_p0,y_p0)是车牌区域左上角顶点坐标，w_p0、h_p0是车牌区域的宽和高；若当前帧为首帧图像，则设首帧图像车牌区域左上角顶点纵坐标y₀值为y_p0；

1.3、将车牌区域特征点作为当前帧图像的小尺度特征，对车牌区域图像I₃进行基于改进BRISK的小尺度特征提取，得到车牌区域特征点P_j以及小尺度特征的位置信息，其具体步骤如下：

1.3.1、基于车牌中心区域的自适应阈值计算：

将车牌区域图像I₃进行灰度化，并统计车牌中心区域像素点灰度值中n个最大值和n个最小值，车牌中心区域范围为：

式中，μ_pc、ν_pc分别是车牌中心区域横、纵坐标，w_p0、h_p0分别是车牌区域图像的宽和高；然后根据图像灰度值和对比度计算阈值，公式如下：

式中：分别代表图像中最大、最小的第i个灰度值，α为比例系数，ε₀为阈值；

1.3.2、构建BRISK尺度空间金字塔：

对车牌区域灰度图像进行采样，形成N个外层图像和N个内层图像，从而建立BRISK尺度空间；其中，外层图像由车牌灰度图像连续半采样得到，第一个内层图像由灰度图像以1.5倍的采样因子降采样得到，其他内层图像由第一个内层图像连续半采样得到；

1.3.3、尺度空间特征点检测：

首先，对原图像采用FAST5-8检测算法，对每一个外层和内层采用改进的FAST9-16检测算法，提取候选特征点；其次，在3×3×3的立体邻域内进行非极大值抑制，从而去除非稳定的候选特征点；最后，对每一个检测出的候选特征点进行亚像素校正和尺度校正，得到特征点P_j精确的尺度和坐标，j＝1,2,...,J；其中，改进的FAST9-16检测算法步骤如下：

1.3.3.1：在以待检测像素点为中心、半径为3像素的圆周上，统计圆周上灰度值满足下述条件的连续像素点个数M；若M大于9，则该待检测像素点为候选特征点，否则进入子步骤(1.3.3.2)；判断条件如下：

(G_m＞G_p+ε₀)＜or＞(G_m＜G_p-ε₀) (7)，

式中，G_m为圆周上像素点的灰度值，m表示圆周上像素点的序号，m＝1,2,...,16，G_p为待检测像素点的灰度值，ε₀为自适应阈值；

1.3.3.2：根据高斯算子计算待检测像素点的梯度值，若满足下述条件，则该待检测像素点为候选特征点；判断条件如下：

其中，M是圆周上连续灰度值突变的像素点个数，grad是由高斯算子计算得到的梯度值，Z_max是梯度的最大值，ε₁是阈值，β是权重系数；

1.3.4：若当前帧图像为首帧，则保留首帧图像特征点，返回步骤(1.1)；否则继续执行下述步骤，

1.4、对于车牌区域特征点P_j，进行基于KNN的特征点匹配操作，将当前帧与首帧车牌特征点进行匹配，得到有效特征点对集，j＝1,2,...,J，j表示特征点P_j的序号，J为P_j的总数；匹配包括两个过程：先确定候选特征点对集，属于粗匹配，再针对候选特征点对集确定有效特征点对集，即精匹配；粗匹配的具体步骤如下：

1.4.1、初始化j＝1；

1.4.2、对于当前帧图像特征点P_j，在首帧图像上通过KNN算法查找与其对应的最近邻、次近邻特征点P_j′和P_j″，并得到特征点P_j与P_j′、P_j″的汉明距离分别为d_j′、d_j″；若则特征点P_j与点P_j′匹配成功，否则匹配失败，剔除对应特征点对；其中，ε₂为汉明距离之比的阈值；

1.4.3、若j＜J，将j增1，并进入步骤(1.4.2)；否则结束粗匹配过程，得到候选特征点对集；

确定有效特征点对的精匹配过程为：对粗匹配得到的候选特征点对集，通过随机抽样一致性算法消除误匹配点对，从而得到有效特征点对集，

1.5、根据有效特征点对集的坐标信息，对多尺度特征的位置信息进行融合，得到被拖车纵向晃动幅值，从而进行安全预警，具体步骤如下：

1.5.1、根据车牌特征点坐标，计算每对特征点的纵坐标差值；

1.5.2、若特征点对数小于阈值ε₃，略过本步骤，进入步骤(1.5.3)；否则筛选出特征点对集纵坐标差值最大值，并剔除，然后进入步骤(1.5.3)；

1.5.3、统计纵坐标差值的平均值，得到小尺度特征位置信息，即特征点纵向偏差d₁；

1.5.4、根据公式对多尺度特征的位置信息进行融合，得到被拖车纵向晃动幅值d₀；

d₀＝d₁+(y₀-y_p0) (9)，

其中，d₁为车牌特征点纵向偏差，y₀、y_p0分别为首帧、当前帧图像车牌区域左上点的纵坐标；若该幅值d₀大于阈值ε₄，则报警；最后返回步骤(1.1)。