[发明专利]一种多车道车辆轨迹时空图的自动生成方法

摘要

本发明涉及一种多车道车辆轨迹时空图的自动生成方法。首先通过摄像机离线标定获取摄像机内外参数、根据实际监控需求设置感兴趣区域，并在车流上游起始位置设置三条虚拟检测带；然后基于这三级虚拟检测带进行车辆特征点的提取并按车辆分组，进行特征点跟踪与分组修正并完成车辆轨迹的高精度提取，进而为每条车道自动生成驶过车辆的纵向时空轨迹图并生成一幅含所有车道的横向时空轨迹图，最后自动判断是否处于车道线修正阶段，如果是则基于轨迹聚类法自动修正车道线位置。与现有技术相比，本发明所述方法提高了目标亮度变化的鲁棒性，提高了车辆检测与轨迹跟踪的精度，能够很好地实现车道线的在线自动修正，避免车辆轨迹点所属车道号的错误判断。

主权项

一种多车道交通时空轨迹图的自动生成方法，其特征在于包括以下步骤：步骤1，设置初始参数；包括设置感兴趣区域、手工指定各车道线的初始位置、在车流上游位置设置三条垂直于车道的虚拟检测带1、2、3和对摄像机进行参数标定；步骤2，在帧图像中基于三级虚拟检测带进行车辆特征点的自动提取和按车辆分组；步骤2.1，基于局部变更新率背景建模提取局部前景并消除活动阴影；(1)对三级虚拟检测带进行变更新率局部动态背景建模；对各虚拟检测带内的每个像素，根据其在最近历史帧中的采样值{X1,X2,…,Xt}采用K个高斯分布的叠加进行建模；然后，对新像素值Xt+1按ωi,t/σi,t降序与该点各高斯分布进行匹配；对匹配成功的高斯分布更新如下：ωi,t+1=(1-α)ωi,t+αμi,t+1=(1-ρ)μi,t+ρXt+1σi,t+12=(1-ρ)σi,t2+ρ(Xt+1-μi,t)2ρ=αη(Xt+1|μi,t,σi,t)]]>对未匹配的高斯分布，均值和方差保持不变，权值更新为ωi,t+1＝(1‑α)ωi,t，α为Log‑Sigmoid型动态自适应更新速率，计算公式如下：式中，α0为交通畅通时的更新速率；β决定Log‑Sigmoid型函数的陡度；l为由步骤3跟踪程序反馈而来的车体区域特征点组位置到虚拟检测带3的最小像素距离；ξ为车辆间距估计值，取为场景中车辆平均长度统计值，基于前2级虚拟检测带中心线生成的当前时刻之前的全景视图计算得到，公式如下：式中，m为两级全景视图中成功匹配的车辆前景块个数，li为第i个前景块长度，和分别为第i辆车在两级全景视图中的前景块中心t坐标，Δd为两级虚拟带的距离，Fs为帧频；对于与任何分布匹配均不成功的新像素值Xt+1，以Xt+1为均值、以一个较大值为方差构造一个新的高斯分布并代替ωi,t/σi,t最小的分布来完成更新；对各高斯分布按ωi,t/σi,t降序选取前B个分布作为当前点的背景模型，其中：式中，T为计入背景的最小阈值；(2)提取局部前景并消除活动阴影；基于背景差分法分割各虚拟检测带上的活动前景，并采用前景像素值与对应位置处的背景像素值的局部纹理特征相似性原理有效去除前景中包含的车辆活动阴影；步骤2.2，提取特征点并按车辆进行分组；(1)提取特征点；利用文献Tomasi方法，在三级虚拟检测带的局部前景图像序列中对驶过的车辆进行易跟踪特征点的逐级递增式提取，充分保障车辆前景特征点的提取效果；(2)对特征点按车辆进行分组；基于三级虚拟检测带生成三级前景全景视图并结合Adaboost智能分类器进行特征点的按车分组；具体方法如下：首先，按下式方法分别将视频序列在三级虚拟检测带中心线上的前景像素信息以时间顺序依次排列生成三级前景全景视图：其中，Ptk为第k级PVI的t时刻列像素向量，为第k级虚拟检测带中心线位置的t时刻像素向量，N为虚拟检测带中心线的像素级长度，yk为第k级虚拟检测带中心线y坐标；然后，在目标刚刚驶离第三级检测带时，利用Adaboost智能分类器在原始图像中进行车辆识别并根据识别结果对特征点进行分组；Adaboost智能分类器在原始图像中的施用区域由该目标在三级全景视图中的前景块下面记为Bk,k∈{1,2,3}及相互匹配情况来确定；施用区域左下顶点图像坐标及区域宽度wAdaboost计算如下：其中，为B3外接矩形的左下角顶点图像坐标，y3为第三级虚拟检测带中心线y坐标，为B3外接矩形的宽度；施用区域高度hAdaboost的计算，分为如下三种情况：第1种情况：目标在三级全景视图中形成的前景块B3、B2和B1均相互匹配成功，则：其中，为B3外接矩形的长度，y2为第二级虚拟检测带中心线y坐标，t3和t2分别是目标到达第三、二级虚拟检测带中心线的时刻值，Fs为帧频；第2种情况：B3只与B2、B1中的一个匹配成功，记为B'，则：其中，y'为B'所在虚拟检测带中心线y坐标，t'为目标到达B'所在虚拟检测带中心线的时刻值；第3种情况：B2与B1匹配成功，但均不能与B3匹配，则：其中，Δh为分离距离修正量，构造为(3)同车特征点组的表示；步骤(2)能将绝大多数的粘连车辆分离并确定各车辆的车体区域；对落在同一车体区域的特征点采用边加权动态图G＝{V,E,W}表述；其中，V为同车特征点集；E为V内各特征点间的优化边集，采用Delaunay三角剖分法构造得到；W为边权集，各边权值取为该边所连特征点对的运动特征相关度，初始化为车体区域长度lvehicle，并在后继跟踪中动态修改；步骤3，特征点跟踪与分组修正；步骤3.1，特征点跟踪；在后继帧的图像金字塔中计算稀疏光流进行特征点跟踪，过程中若发现某个特征点在后继帧中的位置发生了变动，则分别以变动前后的这两个点为中心，在各自的帧图像中分别计算其n×n邻域窗口的局部二元图纹理特征值并进行匹配；若匹配成功则表明两点处的局部纹理特征一致，位置变动后的特征点有效；否则，表明该特征点在跟踪过程中发生了漂移，此时将其剔除；步骤3.2，基于运动特征相关度修正误分组特征点并剔除干扰点；在跟踪过程中，采用状态空间转移模型来表述特征点对的运动关系并结合Kalman滤波对步骤2结果中存在的误分组特征点进行必要的分组修正，同时对一些可能出现的干扰点进行剔除；x轴方向上，对具有边连接关系的特征点对i和j，以表示其在t时刻的运动关系状态向量其中和分别为两点间的x方向距离、距离变化速率和变化加速度，则此特征点对可表述为：其中，为t‑1时刻特征点对的状态向量，为t时刻的状态测量向量，和η分别为系统噪声向量和测量噪声向量，A为转移矩阵，H为观测矩阵；t时刻状态预测值及状态修正值可由点对在上一时刻t‑1的历史信息递推得到，具体如下：式中，K为Kalman修正矩阵；为误差向量，其第一分量表征t时刻的点对距离测量值与预测值的差异，若该值为正，则表明点对可能出现分离趋势，此时将该边权值减1；若该边权值已减为0，则表明该点对不属于同一车辆，此时断开该点对的连接，实现特征点的分组修正；进而，如果某点已无任何边与其相连，则将其作为干扰点剔除；步骤4，车辆轨迹提取与多个车道的时空轨迹图自动生成；步骤4.1，车辆驶出感兴趣区域时提取其轨迹；车辆驶出感兴趣区域时，基于下述加权平均式计算其V中各特征点的分布中心其中，n为V的尺度，xi和yi为第i个特征点的图像坐标，mi为第i个特征点的权重；进而，计算V中各个特征点i与分布中心的欧氏距离di,p，按照di,p升序选取前K个点构成分布中心的K‑最近邻点集C并按下式选取第j个特征点的轨迹作为当前车辆轨迹：其中，lp为K‑最近邻点集C中特征点p的轨迹长度；步骤4.2，根据各辆车的轨迹数据自动生成多个车道的时空轨迹图；(1)生成纵向时空轨迹图；为每条车道自动生成驶过车辆的纵向时空轨迹图；对每一辆车，其轨迹表述为点序列可表是为T＝{<x1,y1,f1>,…,<xj,yj,fj>,…,<xM,yM,fM>}；其中，三元组结构分量xj、yj和fj分别为第j个轨迹点的x轴、y轴图像坐标及轨迹点所在帧号，M为该轨迹中的点数；对各轨迹点<xj,yj,fj>，首先根据坐标值判断其所在车道号k，计算公式为：其中，为第q条车道左边界线上的点坐标，为第q条车道右边界线上的点坐标；然后将该轨迹点绘入第k幅时空图的(tj,dj)坐标处：tj＝fj/Fsdj＝|Yj‑YO|其中，Fs为摄像机帧频，YO为起始参考点的世界Y坐标，在此起始参考点取为第一级虚拟检测带中心线左端点；Yj为当前轨迹点的世界Y坐标；各点的世界坐标值可由其图像坐标与摄像机标定参数计算得来；(2)生成横向时空轨迹图；生成一幅含所有车道的横向时空轨迹图；对第i辆车的轨迹Ti中的各轨迹点<xj,yj,fj>，其在横向时空轨迹图中的坐标(tj,dj)满足：tj＝fj/Fsdj＝|Xj‑XO|其中，XO为起始参考点的世界X坐标，Xj为当前轨迹点的世界X坐标；步骤5，若处于车道修正阶段，则每新增γ条轨迹进行一次基于粗糙k‑均值轨迹聚类的车道位置自动修正；否则，直接跳转至步骤2；步骤5.1，在设置初始参数时确定聚类参数k及初始聚类中心；(1)确定聚类参数k：聚类数目k即为车道数，对于确定的监控场景k为已知常数，可人工设定；(2)确定初始聚类中心：对于各聚类的初始聚类中心ci，即每条车道的初始中心线，根据步骤1中人工设定的感兴趣区域和各车道线初始位置数据计算得到，具体为：其中，i为车道号且i∈{1,2,…,k}，ci为第i条车道的中心线点集，为ci中的各点坐标；为第i条车道左边界线上的点坐标，为第i条车道右边界线上的点坐标，最两侧车道的外边界即为感兴趣区域外边界；yi,t、yi,d分别为当前车道上、下顶点纵坐标；步骤5.2，基于粗糙k‑均值聚类实现车道分割线位置修正；(1)确定本次新增轨迹集中每条轨迹Tχ的上、下近似归属；计算轨迹Tχ和各个聚类中心的Hausdorff距离h(Tχ,ci),i＝1,2,...,k，公式如下：其中，Nχ为轨迹Tχ的长度；并找出与Tχ距离最短的类m，即则：其中，λ为判定阈值、表示第m车道类的上近似集、Cm表示第m车道类的下近似集；(2)更新聚类中心，公式如下：其中，i∈{1,2,…,k}，权值wl∈[0.5,1]、|·|表示基数；(3)根据聚类后的车道中心线修正车道分割线位置，公式如下：其中，i为车道分割线号且i∈{1,2,…,k‑1}；及为第i条车道线两侧的车道中心线上的点坐标；和分别为当前车道分割线的上、下顶点纵坐标。