[发明专利]基于点对匹配和几何结构匹配的地面箭头标志检测与识别方法

摘要

本发明属于计算机视觉领域，涉及到图像处理相关知识，特别涉及形状匹配方法。其特征是从待测视频中提取出地面箭头标志进行识别。首先，利用逆投影映射来获得每一帧图像的俯视图；其次，使用K均值聚类方法在HSV空间进行图像分割，分离出亮度及颜色符合条件的连通区域，并对这些连通区域进行几何尺寸筛选；再次，对候选区域进行边缘提取，对每个边缘点提取局部多尺度HOG特征；最后利用该特征在模板和候选区域之间进行点对匹配，对匹配结果再进行几何结构匹配，识别出该区域的类别。本发明的效果和益处是克服了地面箭头标志检测中出现的遮挡、磨损、形变、旋转，以及其他标志干扰的情况。在以上不理想条件下，本发明仍有较好的识别率。

主权项

1.一种基于点对匹配和几何结构匹配的地面箭头标志检测与识别方法，其特征在于，该地面箭头标志检测与识别方法只对直行标志S，左转标志L和直行右转标志SR进行检测与识别，包括如下步骤：第一步，逆投影映射1.1)在世界坐标系中，X_v指向汽车纵轴的前方，Y_v指向垂直于汽车纵轴的右方，Z_v指向垂直于汽车纵轴的上方；设地面平坦，摄像机坐标系原点在摄像机的光心，依次绕X_v、Y_v、Z_v轴的旋转角为ψ、和θ；光心在车体坐标系中的坐标为t＝(l,d,h)；若车体坐标系中有一点为p_v(x_v,y_v,z_v)，它在摄像机坐标系中的坐标为p_c(x_c,y_c,z_c)，二者之间的关系为：其中，1.2)对于平坦地面上任意一条平行于Xv轴，且到Xv轴距离为a的直线L，其在车体坐标系中的参数方程为xv＝s,yv＝a,zv＝0，其中s为任意实数；在已知摄像机内参数的情况下，直线L在图像平面坐标系上的参数方程为：其中，dx、dy、fi和fj为摄像机内参数，dx为横向比例系数，dy纵向比例系数，fi为i方向焦距，fj为j方向焦距；u和v为图像平面坐标系的坐标；i和j为像素坐标系的坐标；1.3)在路面上再选取两条直线，使其平行于直线L，分别根据公式(4)(5)计算直线L和这两条直线在图像坐标系上的消失点(uh,vh)：这三条直线有相同的消失点，利用等量关系，计算外参数ψ、θ以及t＝(l,d,h)；1.4)将外参数ψ、θ以及t＝(l,d,h)代入公式(3)，得到车体坐标平面上的点在图像坐标上的对应点，实现图像坐标平面向车体坐标平面的转换，完成逆投影映射，获取道路场景的俯视图；第二步，图像分割将RGB彩色图像转换到HSV颜色空间，将饱和度分量S和亮度分量V重组进行K均值聚类，利用欧式距离测度将图像分割为三层，满足要求的像素点最多的那一层为最终分割结果，并将其中包含的连通区域作为候选区域；第三步，筛选候选区域采用箭头标志标准尺寸对候选区域进行筛选，采用箭头宽度，宽高比以及面积排除非箭头区域；第四步，边缘检测对候选区域进行膨胀操作，减少边缘毛刺；对候选区域进行Canny边缘检测，获取较为平滑的边缘；第五步，特征提取及构建特征集5.1)在边缘点处进行局部的HOG特征提取，对所有边缘点计算梯度方向，选取任一边缘点A，截取以边缘点A为中心，大小为a×a的图像块，将该图像块平均分成4个单元；将梯度方向取值范围平均分成k个子区间，得到4×k＝4k维局部HOG特征向量；5.2)取以边缘点A为中心，大小为2a×2a的图像块，将图像块平均分为4个a×a的子块，分别对每个子块按照5.1所述方法计算4k维特征向量，将四个4k维特征向量串接起来得到4k×4＝16k维局部HOG特征向量；5.3)截取以边缘点A为中心，大小为4a×4a的图像块，将图像块平均分为16个a×a的子块，分别对每个子块按照5.2所述方法计算出16k维特征向量，将四个16k维特征向量串接起来得到16k×4＝64k维局部HOG特征向量；5.4)将上述三个尺度下的局部HOG特征向量串接起来，形成边缘点A的4k+16k+64k＝84k维特征向量，并用这个84k维特征向量表示该连通区域；5.5)构造模板库包含直行标志S，左转标志L和直行右转标志SR；对于模板库中的箭头图像和测试图像中的候选区域，均依次按照上述步骤5.1)、5.2)、5.3)、5.4)得到边缘点及每一个边缘点对应的84k维特征向量；候选区域所有边缘点对应的特征向量构成该候选区域的特征向量集；模板图像的所有边缘点对应的特征向量构成该模板的特征向量集；第六步，点对匹配6.1)候选区域和某一模板分别提取出了M和N个边缘点，构造一个M×N矩阵D，存储候选区域和模板图像特征向量之间的欧氏距离；D_i是矩阵D的第i行；D_i中的元素按照升序排列得到D'_i中相邻元素之比构成R＝[r₁,…,r_j,…,r_N‑1]，即如果在R中r_k是第一个大于预设阈值α的值，那么D'_i中前k个值对应的模板图像边缘点即为与候选区域第i个边缘点匹配的点；6.2)对矩阵D的每一行都按照步骤6.1)进行处理，得到模板图像上与每一个候选区域边缘点匹配的点，形成从候选区域到模板图像方向的匹配点对；6.3)对矩阵D的每一列都按照步骤6.1)进行处理，得到从模板图像到候选区域方向的匹配点对；对行和列的匹配结果取交集，完成模板图像与候选区域的点对匹配；第七步，几何结构匹配点对匹配结果分别在模板图像和测试图像上形成散点图，计算散点图上任意两点的夹角θij和到中心的距离比gij，构造两个K0×K0下三角矩阵来代表包含K0个点的散点图：G＝{gij|i∈[1,K0‑1]；j∈[0,i‑1]}   (6)Θ＝{θij|i∈[1,K0‑1]；j∈[0,i‑1]}    (7)G_c和G_t分别为候选区域和模板图像的G矩阵，Θ_c和Θ_t分别为候选区域和模板图像的Θ矩阵；我们利用Θ_c和Θ_t中元素的差值来对G_c和G_t进行滤波，排除异常点，得到和采用欧式距离来衡量候选区域的矩阵与所有模板图像的矩阵的差异性，其中若欧式距离最小值小于预设的阈值γ，则对应的模板图像就认为和候选区域是相同类别。