[发明专利]一种基于时序规律的交通指示红黄绿灯的图像识别方法

权利要求书

1.一种基于时序规律的交通指示红黄绿灯的图像识别方法，其特征在于：按一定时间间隔T逐帧采集行驶车辆前方的交通图像；根据给定的颜色阈值，分别获得每一帧图像中的红灯、黄灯和绿灯的候选图像区域；然后在一定的时间观察窗口W*T中按颜色统计分析所有相对应候选图像区域的点亮时序曲线，最后根据这些时序曲线的自身规律或/和相互关系来自动识别判断这些红灯、黄灯和绿灯的候选图像区域是否为红灯、黄灯和绿灯的目标图像；具体包括如下步骤：

第一步：实时交通图像采样，根据一定的时间间隔T实时逐帧采集车辆行驶方向前方的交通图像，并记当前最新采集的图像为第k帧图像G(k)；

第二步：交通指示灯的候选图像区域分割，基于颜色阈值从G(k)中提取出所有可能是红灯、黄灯和绿灯的候选图像区域，分别记为Rk{o}、Yk{p}和Gk{q}，其中o、p和q分别为G(k)中红灯、黄灯和绿灯的候选图像区域的个数；

第三步：基于特征匹配的候选图像观察窗内搜索，在一定时间长度W*T的时间观察窗内，按颜色根据特征匹配每一帧图像中的候选图像区域，各帧中相互匹配成功的候选图像区域被认定为同一灯体，根据该匹配的候选图像区域在各帧中出现与否设置点亮值；具体为：

（1）利用第k-W+1帧图像G(k-W+1)至第k-1帧图像G(k-1)，构成时间长度为W*T的连续图像序列观察窗口，并记其中的所有红灯、黄灯和绿灯的候选图像区域集合为R{O}、Y{P}和G{Q}，其中O、P和Q分别为红灯、黄灯和绿灯的不同候选图像区域的总个数；

（2）遍历Rk{o}中的每一个红灯候选图像区域rk(i)，计算其图像特征，并与已有集合R{O}中的每一个红灯候选图像区域r(j)进行特征匹配；

如果匹配成功，表明该红灯候选图像区域rk(i)在图像序列观察窗口中已经存在，且就是图像区域r(j)，设置r(j)在第k帧图像中的点亮值vr(j,k)=1；

如果匹配不成功，表明该红灯候选图像区域rk(i)在图像序列观察窗口中不存在，为首次出现，将其作为一个新元素r(O+1)添加到集合R{O}中，并设置r(O+1)在第k帧图像中的点亮值vr(O+1,k)=1，设置r(O+1)在第k帧图像之前的图像序列中的点亮值均为0；

遍历结束后，对于R{O}中未能被Rk{o}中的任意红灯候选图像区域匹配成功的其余元素，表明其在当前图像中未被检测到，设置其第k时刻的点亮值为0；

（3）同理，遍历Yk{p}中的每一个黄灯候选图像区域yk(m)和Gk{q}中的每一个绿灯候选图像区域gk(u)，完成上述第（2）步骤；

第四步：基于上述点亮值绘制点亮时序变化曲线；

第五步：根据各相匹配的灯体候选图像区域的点亮时序曲线的自身规律或/和相互关系，判断其是否为交通指示红灯、黄灯或绿灯。

2.根据权利要求1所述的一种基于时序规律的交通指示红黄绿灯的图像识别方法，其特征在于所述第二步：将图像G(k)从RGB色彩模式变换到HSV色彩模式，根据给定的HSV颜色阈值从G(k)中提取出所有可能是红灯、黄灯和绿灯的候选图像区域。

3.根据权利要求1所述的一种基于时序规律的交通指示红黄绿灯的图像识别方法，其特征在于所述第三步基于特征匹配的候选图像观察窗内搜索时，所提取的图像特征为同时满足旋转不变性和尺度不变性的Hu矩特征。

4.根据权利要求1-3任一所述的一种基于时序规律的交通指示红黄绿灯的图像识别方法，其特征在于：在进行下一帧循环识别判断之前，删除时序观察窗口中非灯体候选图像区域，即删除仅在时序观察窗口中首帧中出现其余各帧中均未出现的候选图像区域。

5.根据权利要求1-3任一所述的一种基于时序规律的交通指示红黄绿灯的图像识别方法，其特征在于所述识别判断的原则为：如果某相匹配的候选图像区域的点亮时序不具有规律性，则该候选图像区域不是红灯、黄灯或绿灯中的任何一种；或者，如果某相匹配的候选图像区域在整个观察窗口期内始终为常亮状态无变化，则该候选图像区域不是红灯、黄灯或绿灯中的任何一种。