[发明专利]一种基于光流聚类的车载行人区域估计方法

摘要

本发明公开了一种基于光流聚类的车载行人区域估计方法，对摄像机获取的图像进行光流估计，获得图像光流场；再进行光流聚类，从而估计出背景区域；剔除背景区域，使用图分割算法分割前景区；最后对前景区各区域进行判别，识别出有效的行人区域，本发明提出的基于光流聚类的车载行人区域估计方法，避免了传统行人检测系统采用全局模板搜索匹配识别造成的行人识别的盲目搜索，适用于车载环境下的车辆智能辅助驾驶、无人驾驶等，克服了通常的EM算法和K‑means等聚类算法难以确定背景的高斯分布的问题，本方法提出的光流聚类算法可更加有效地估计背景区域，在判别前景行人区域的过程中，利用人体形态特征，可有效地剔除非行人区域，获得行人区域。

主权项

一种基于光流聚类的车载行人区域估计方法，其特征在于步骤如下：步骤一、利用车载摄像机拍摄车辆前方道路，通过摄像机获取的图像为RGB三维图像，经过图像灰度化处理得到二维灰度图像，二维灰度图像可视为一个个像素点的亮度值构成的矩阵I(x,y)，其中x为图像的像素点的横坐标，y为图像的像素点的纵坐标；步骤二、光流场是指图像中所有像素点构成的一种二维瞬时速度场，包含了被观察物体的运动信息，还包含有关景物三维结构的丰富信息，光流在物体运动检测方面有着重要应用，光流场的计算过程如下：1)令I(x,y,t)表示图像I(x,y)的时间序列，其中，t为时间，令dx代表横坐标x上的变化量、dy代表纵坐标y上的变化量、dt代表I(x,y,t)在时间t上的变化量，那么在图像光强亮度恒定和物体微小运动的假设下有：I(x,y,t)＝I(x+dx,y+dy,t+dt)  (1)将上式中的I(x+dx,y+dy,t+dt)进行泰勒公式展开：I(x+dx,y+dy,t+dt)=I(x,y,t)+∂I∂xdx+∂I∂ydy+∂I∂tdt+δ---(2)]]>式中，表示I(x,y,t)对x的偏导数、表示I(x,y,t)对y的偏导数、表示I(x,y,t)对t的偏导数，δ表示高阶项；结合式(1)和式(2)且忽略高阶项δ，则得到：∂I∂xdx+∂I∂ydy+∂I∂tdt=0---(3)]]>令则式(3)表示为Ixu+Iyv＝‑It整理成矩阵形式为：IxIyuv=-It---(4)]]>其中：为x对t的导数，表示光流场在x方向的分量；为y对t的导数，表示光流场在y方向上的分量；采用局部与全局相结合的光流求解方法求解(4)式，得到图像光流场，即[u,v]；步骤三、移动个体做不同于背景的运动，具有不同于背景的光流场，对步骤二所获得的图像光流场[u,v]聚类，获取图像光流场[u,v]的运动幅值聚类直方图和图像光流场[u,v]的运动方向角聚类直方图，进一步可实现前景和背景分离，具体过程如下：1、获取图像光流场[u,v]的运动幅值聚类直方图和图像光流场[u,v]的运动方向角聚类直方图：1)令坐标为(X,Y)的像素点的光流在x方向分量为u(X,Y)，在y方向分量v(X,Y)，再根据下式计算坐标为(X,Y)的像素点的运动幅值M(X,Y)和坐标为(X,Y)的像素点的运动方向角θ(X,Y)：M(X,Y)=u2(X,Y)+v2(X,Y)θ(X,Y)=argtanv(X,Y)u(X,Y)---(5)]]>2)对运动幅值M(X,Y)的取值范围离散化以及运动方向角θ(X,Y)的取值范围离散化，统计运动幅值M(X,Y)不同取值范围下对应的频数n1和运动方向角θ(X,Y)不同取值范围下对应的频数n2，以运动幅值M(X,Y)为横轴，以运动幅值各取值范围对应的频数n1为纵轴，可获得运动幅值聚类直方图；同理，以运动方向角θ(X,Y)为横轴，以运动方向角各取值范围其对应的频数n2为纵轴即可获得运动方向角聚类直方图；图像光流场[u,v]的运动幅值聚类直方图和图像光流场[u,v]的运动方向角聚类直方图均可分别视为一个混合高斯分布，每个混合高斯分布均含有背景高斯分量、前景高斯分量、估计误差高斯分量以及噪声干扰高斯分量；2、估计车载摄像机拍摄的车辆前方道路的图像的背景：1)考虑到车载摄像机拍摄的车辆前方道路的图像的背景占该图像的绝大部分区域，即背景区域像素点频数最大；因此可以将图像光流场[u,v]的运动幅值聚类直方图的极大值点对应的高斯分量和图像光流场[u,v]的运动方向角聚类直方图的极大值点对应的高斯分量作为背景高斯分量；选取背景高斯分量和前景高斯分量的交叉点作为它们的分类阈值；根据摄像机成像投影原理，所有的成像点相交于成像的灭点，即车辆前方距离车载摄像机较远的背景的像素点的运动幅值向于0点，运动幅值聚类直方图中从0点开始到极大值点对应的高斯分量为背景高斯分量；因此，图像光流场[u,v]的运动幅值聚类直方图中运动幅值M(X,Y)∈[0,T]且T＞Mmax对应的区间为背景部分，其中T为图像光流场[u,v]的运动幅值聚类直方图中背景高斯分量与前景高斯分量的分类阈值，Mmax为图像光流场[u,v]的运动幅值聚类直方图的极大值点；此外，由于运动方向角θ(X,Y)的范围为[‑π,π]以及前景运动方向的不确定性，为降低背景的误分类，在图像光流场[u,v]的运动方向角聚类直方图极大值点两侧分别选取阈值作为背景部分，即运动方向角θ(X,Y)∈[t1,t2]且t1＜θmax＜t2的区间为背景部分，其中t1和t2为图像光流场[u,v]的运动方向角聚类直方图中的背景高斯分量与前景高斯分量的分类阈值，θmax为图像光流场[u,v]的运动方向角聚类直方图的极大值点；因此坐标为(X,Y)的像素点如果满足如下条件，则该像素点属于背景区域：M(X,Y)∈[0,T]且T＞Mmax,θ(X,Y)∈[t1,t2]且t1＜θmax＜t22)为满足背景估计的自适应，需要自适应确定T、t1和t2，利用过零点检测方法自适应确定阈值T、t1和t2，具体如下：为降低噪声造成的干扰，利用平滑窗口函数k(ω)与图像光流场[u,v]的运动幅值聚类直方图f(z)和图像光流场[u,v]的运动方向角聚类直方图g(a)进行卷积运算，如式(6)所示：ff(z)=f(z)*k(ω)gg(a)=g(a)*k(ω)---(6)]]>这里用函数f(z)表示图像光流场[u,v]的运动幅值聚类直方图，用函数g(a)表示图像光流场[u,v]的运动方向角聚类直方图，ω为滤波窗口长度，长度为奇数，则其中矩阵里共有ω个这里ω取为3或5；由于ff(z)导数的零点对应ff(z)的拐点，同理gg(a)导数的零点对应gg(a)的拐点，可利用差分函数求解ff(z)的导数以及gg(a)的导数然后利用式(7)判断过零点位置，获取ff(z)在图像光流场[u,v]的运动幅值聚类直方图的极大值点Mmax右侧第一个拐点位置T，作为其分类阈值，获取gg(a)在图像光流场[u,v]的运动方向角聚类直方图的极大值点θmax左侧的第一个拐点位置t1和右侧第一个拐点位置t2，作为分类阈值，从而自适应确定阈值T、t1和t2；Tzero=2z1+12if▿ff(z1)×▿ff(z1+1)≤0tzero=2a1+12if▿gg(a1)×▿gg(a1+1)≤0---(7)]]>其中：Tzero表示ff(z)的零点，表示ff(z)在z1点的导数，表示ff(z)在z1+1点的导数；tzero表示gg(a)的零点，表示gg(a)在a1点的导数，表示gg(a)在a1+1点的导数；3、剔除估计的背景区域，即可得到前景区域；步骤四、采用基于图论的分割算法分割步骤三得到的前景区域的光流场：令G＝(pfore,E）为顶点pi∈pfore，边集(pi,pj)∈E构成的无向图，其中pi、pj均为该无向图的顶点，pfore表示去除估计的背景区域内的像素点后的前景像素点的集合，(pi,pj)为近邻顶点构成的边，E表示所有边的集合，ω(pi,pj)为边(pi,pj)对应的权重，表示为顶点pi和pj的差异性；图像光流场为速度矢量场，顶点pi的光流表示为ui为顶点pi的光流在x方向的分量，vi为顶点pi的光流在y方向的分量；同理，将顶点pj的光流表示为uj为顶点pj的光流在x方向的分量，vj为顶点pj的光流在y方向的分量；为有效表示顶点pi和pj光流矢量的差异性，本方法引入矢量模mij和矢量夹角αij的联合表示度量其差异性，表示为：ω(pi,pj)=σ*mij+β*αijmij=||s→i|-|s→j||=|ui2+vi2|-|uj2+vj2|αij=arccos(s→i·s→j|s→i|·|s→j|)=arccos(ui·uj+vi·vjui2+vi2·uj2+vj2)---(8)]]>其中σ表示矢量模mij的权重系数，取为0.2；β表示矢量夹角αij的权重系数，取为0.8；区域C1和区域C2表示无向图G中的两个区域，根据无向图G的最小生成树，如果满足条件：Dif(C1,C2)＞MInt(C1,C2)，则区域C1和区域C2需要分割；其中，Dif(C1,C2)＝minω(pi,pj)，其中pi∈C1,pj∈C2,(pi,pj)∈E，表示两个分割区域C1、C2之间顶点相互连接的最小边的权值，表示区域的类间差异；MInt(C1,C2)＝min(Int(C1)+τ(C1),Int(C2)+τ(C2))，分割区域的合并指标|C|是指分割部分顶点的个数，k为阈值参数，Int(C)＝maxω(pi,pj)，其中pi,pj∈C,(pi,pj)∈E,表示分割区域的类内差异，即分割区域C中包含的最大边的权值；步骤五、因步骤三无法准确得到背景区域，因此经步骤四分割后的各区域除了包含行人、非行人物体外，还可能包含步骤三中无法完全剔除的背景，需进一步减少上述非行人区域，利用人体形态的相关指标进行判断其是否为行人，剔除非行人区域：选取物体的高度与宽度之比L、区域面积S、区域面积与圈定区域的矩形窗口面积之比Sn作为判别指标，来判断某区域是否为行人区域；如果L、S、Sn同时满足L∈(Lmin，Lmax)，S∈(Smin，Smax)，Sn∈(Snmin，Snmax)，则该区域为行人区域，获得行人区域后，将除了行人区域外的其他非行人区域剔除；其中Lmax是为高度与宽度比设定的最大值、Lmin是为高度与宽度比设定的最小值；Smax是为区域面积设定的最大值、Smin是为区域面积设定的最小值；Snmax是为区域面积与圈定区域的矩形窗口面积之比设定的最大值、Snmin是为区域面积与圈定区域的矩形窗口面积之比设定的最小值，Lmax、Lmin、Smax、Smin、Snmax和Snmin的具体取值均通过以手工标定的方式进行的大量实验来获得。