[发明专利]一种基于光流聚类的车载行人区域估计方法

权利要求书

1.一种基于光流聚类的车载行人区域估计方法，其特征在于步骤如下：

步骤一、利用车载摄像机拍摄车辆前方道路，通过摄像机获取的图像为RGB三维图像，经过图像灰度化处理得到二维灰度图像，二维灰度图像可视为一个个像素点的亮度值构成的矩阵I(x,y)，其中x为图像的像素点的横坐标，y为图像的像素点的纵坐标；

步骤二、光流场的计算过程如下：

1)令I(x,y,t)表示图像I(x,y)的时间序列，其中，t为时间，令dx代表横坐标x上的变化量、dy代表纵坐标y上的变化量、dt代表I(x,y,t)在时间t上的变化量，那么在图像光强亮度恒定和物体微小运动的假设下有：

I(x,y,t)＝I(x+dx,y+dy,t+dt) (1)

将上式中的I(x+dx,y+dy,t+dt)进行泰勒公式展开：

式中，表示I(x,y,t)对x的偏导数、表示I(x,y,t)对y的偏导数、表示I(x,y,t)对t的偏导数，δ表示高阶项；

结合式(1)和式(2)且忽略高阶项δ，则得到：

令则式(3)表示为

I_xu+I_yv＝-I_t

整理成矩阵形式为：

其中：为x对t的导数，表示光流场在x方向的分量；为y对t的导数，表示光流场在y方向上的分量；

采用局部与全局相结合的光流求解方法求解(4)式，得到图像光流场，即[u,v]；

步骤三、移动个体做不同于背景的运动，具有不同于背景的光流场，对步骤二所获得的图像光流场[u,v]聚类，获取图像光流场[u,v]的运动幅值聚类直方图和图像光流场[u,v]的运动方向角聚类直方图，进一步可实现前景和背景分离，具体过程如下：

1、获取图像光流场[u,v]的运动幅值聚类直方图和图像光流场[u,v]的运动方向角聚类直方图：

1)令坐标为(X,Y)的像素点的光流在x方向分量为u(X,Y)，在y方向分量v(X,Y)，再根据下式计算坐标为(X,Y)的像素点的运动幅值M(X,Y)和坐标为(X,Y)的像素点的运动方向角θ(X,Y)：

2)对运动幅值M(X,Y)的取值范围离散化以及运动方向角θ(X,Y)的取值范围离散化，统计运动幅值M(X,Y)不同取值范围下对应的频数n₁和运动方向角θ(X,Y)不同取值范围下对应的频数n₂，以运动幅值M(X,Y)为横轴，以运动幅值各取值范围对应的频数n₁为纵轴，可获得运动幅值聚类直方图；同理，以运动方向角θ(X,Y)为横轴，以运动方向角各取值范围其对应的频数n₂为纵轴即可获得运动方向角聚类直方图；图像光流场[u,v]的运动幅值聚类直方图和图像光流场[u,v]的运动方向角聚类直方图均可分别视为一个混合高斯分布，每个混合高斯分布均含有背景高斯分量、前景高斯分量、估计误差高斯分量以及噪声干扰高斯分量；

2、估计车载摄像机拍摄的车辆前方道路的图像的背景：

1)将图像光流场[u,v]的运动幅值聚类直方图的极大值点对应的高斯分量和图像光流场[u,v]的运动方向角聚类直方图的极大值点对应的高斯分量作为背景高斯分量；

选取背景高斯分量和前景高斯分量的交叉点作为它们的分类阈值；根据摄像机成像投影原理，所有的成像点相交于成像的灭点，即车辆前方距离车载摄像机较远的背景的像素点的运动幅值向于0点，运动幅值聚类直方图中从0点开始到极大值点对应的高斯分量为背景高斯分量；因此，图像光流场[u,v]的运动幅值聚类直方图中运动幅值M(X,Y)∈[0,T]且T＞M_max对应的区间为背景部分，其中T为图像光流场[u,v]的运动幅值聚类直方图中背景高斯分量与前景高斯分量的分类阈值，M_max为图像光流场[u,v]的运动幅值聚类直方图的极大值点；在图像光流场[u,v]的运动方向角聚类直方图极大值点两侧分别选取阈值作为背景部分，即运动方向角θ(X,Y)∈[t₁,t₂]且t₁＜θ_max＜t₂的区间为背景部分，其中t₁和t₂为图像光流场[u,v]的运动方向角聚类直方图中的背景高斯分量与前景高斯分量的分类阈值，θ_max为图像光流场[u,v]的运动方向角聚类直方图的极大值点；

因此坐标为(X,Y)的像素点如果满足如下条件，则该像素点属于背景区域：

M(X,Y)∈[0,T]且T＞M_max,θ(X,Y)∈[t₁,t₂]且t₁＜θ_max＜t₂

2)为满足背景估计的自适应，需要自适应确定T、t₁和t₂，利用过零点检测方法自适应确定阈值T、t₁和t₂，具体如下：

为降低噪声造成的干扰，利用平滑窗口函数k(ω)与图像光流场[u,v]的运动幅值聚类直方图f(z)和图像光流场[u,v]的运动方向角聚类直方图g(a)进行卷积运算，如式(6)所示：

这里用函数f(z)表示图像光流场[u,v]的运动幅值聚类直方图，用函数g(a)表示图像光流场[u,v]的运动方向角聚类直方图，ω为滤波窗口长度，长度为奇数，则其中矩阵里共有ω个这里ω取为3或5；

由于ff(z)导数的零点对应ff(z)的拐点，同理gg(a)导数的零点对应gg(a)的拐点，可利用差分函数求解ff(z)的导数▽ff(z)以及gg(a)的导数▽gg(a)，然后利用式(7)判断过零点位置，获取ff(z)在图像光流场[u,v]的运动幅值聚类直方图的极大值点M_max右侧第一个拐点位置T，作为其分类阈值，获取gg(a)在图像光流场[u,v]的运动方向角聚类直方图的极大值点θ_max左侧的第一个拐点位置t₁和右侧第一个拐点位置t₂，作为分类阈值，从而自适应确定阈值T、t₁和t₂；

其中：T_zero表示ff(z)的零点，▽ff(z₁)表示ff(z)在z₁点的导数，▽ff(z₁+1)表示ff(z)在z₁+1点的导数；t_zero表示gg(a)的零点，▽gg(a₁)表示gg(a)在a₁点的导数，▽gg(a₁+1)表示gg(a)在a₁+1点的导数；

3、剔除估计的背景区域，即可得到前景区域；

步骤四、采用基于图论的分割算法分割步骤三得到的前景区域的光流场：令G＝(p_fore,E)为顶点p_i∈p_fore，边集(p_i,p_j)∈E构成的无向图，其中p_i、p_j均为该无向图的顶点，p_fore表示去除估计的背景区域内的像素点后的前景像素点的集合，(p_i,p_j)为近邻顶点构成的边，E表示所有边的集合，ω(p_i,p_j)为边(p_i,p_j)对应的权重，表示为顶点p_i和p_j的差异性；图像光流场为速度矢量场，顶点p_i的光流表示为u_i为顶点p_i的光流在x方向的分量，v_i为顶点p_i的光流在y方向的分量；同理，将顶点p_j的光流表示为u_j为顶点p_j的光流在x方向的分量，v_j为顶点p_j的光流在y方向的分量；为有效表示顶点p_i和p_j光流矢量的差异性，引入矢量模m_ij和矢量夹角α_ij的联合表示度量其差异性，表示为：

其中σ表示矢量模m_ij的权重系数，取为0.2；β表示矢量夹角α_ij的权重系数，取为0.8；

区域C₁和区域C₂表示无向图G中的两个区域，根据无向图G的最小生成树，如果满足条件：Dif(C₁,C₂)＞MInt(C₁,C₂)，则区域C₁和区域C₂需要分割；

其中，Dif(C₁,C₂)＝minω(p_i,p_j)，其中p_i∈C₁,p_j∈C₂,(p_i,p_j)∈E，表示两个分割区域C₁、C₂之间顶点相互连接的最小边的权值，表示区域的类间差异；MInt(C₁,C₂)＝min(Int(C₁)+τ(C₁),Int(C₂)+τ(C₂))，分割区域的合并指标|C|是指分割部分顶点的个数，k为阈值参数，Int(C)＝maxω(p_i,p_j)，其中p_i,p_j∈C,(p_i,p_j)∈E,表示分割区域的类内差异，即分割区域C中包含的最大边的权值；

步骤五、进一步减少非行人区域，利用人体形态的相关指标进行判断其是否为行人，剔除非行人区域：

选取物体的高度与宽度之比L、区域面积S、区域面积与圈定区域的矩形窗口面积之比S_n作为判别指标，来判断某区域是否为行人区域；如果L、S、S_n同时满足L∈(L_min，L_max)，S∈(S_min，S_max)，S_n∈(S_nmin，S_nmax)，则该区域为行人区域，获得行人区域后，将除了行人区域外的其他非行人区域剔除；

其中L_max是为高度与宽度比设定的最大值、L_min是为高度与宽度比设定的最小值；S_max是为区域面积设定的最大值、S_min是为区域面积设定的最小值；S_nmax是为区域面积与圈定区域的矩形窗口面积之比设定的最大值、S_nmin是为区域面积与圈定区域的矩形窗口面积之比设定的最小值，L_max、L_min、S_max、S_min、S_nmax和S_nmin的具体取值均通过以手工标定的方式进行的大量实验来获得。