[发明专利]一种针对复杂监控场景的多车道车流量检测方法

权利要求书

1.一种针对复杂监控场景的多车道车流量检测方法，其特征在于：包括以下步骤：

步骤1，从道路交通监控摄像机中得到实时监控视频流，利用背景建模提取运动前景图像；

步骤2，对多帧前景图像进行叠加获得大致行车区域，并对行车区域进行膨胀处理，得到道路区域；

步骤3，利用已训练好的光流提取神经网络提取道路区域的光流矢量，保留光流矢量角度信息并通过角度信息对其聚类，得到不同朝向的车道分割结果；

步骤4，训练车辆目标跟踪网络，利用该网络对图像中的车辆进行跟踪，获得各车辆目标的边界框以及轨迹信息；

步骤5，训练车辆分布密度估计网络，利用该网络得到图像中的车辆分布密度信息；

步骤6，基于分布密度信息获得每个实例边界框中的实际车辆数量；

步骤7，根据监控摄像机与场景中的高度与角度划定虚拟检测线，并根据车辆检测线进行车辆计数，从而得到车流量统计结果；

其中，步骤2的具体处理步骤如下：

步骤2.1，获取上一步输出的实时视频帧的前景图像；

步骤2.2，基于图像透视原理对前景图像做自适应膨胀处理：

其中为前景图像，K为自适应卷积核，(x, y)为当前卷积坐标，m，n为卷积核的宽与高，w，h为前景图像的宽与高，为设定系数；

步骤2.3，循环完成步骤2.1、2.2多次获取多帧前景图像构成前景图像集合M，通过前景图像集合M合成道路区域；

步骤2.4，对步骤2.3生成的行车道路区域进行中值滤波，平滑边界；

步骤3的具体处理步骤如下：

步骤3.1，利用针对交通监控场景训练的光流提取神经网络对一定间隔的帧图像提取光流矩阵；

步骤3.2，重复步骤3.1并对对其生成的光流矩阵的叠加后的光流矩阵各像素的光流做单位化处理，使得仅保留光流矢量角度信息；

步骤3.3，对步骤3.2中获得的光流矢量信息根据矢量角度进行聚类，根据获得的聚类结果划分不同方向上的车道；

步骤4训练车辆目标跟踪网络以及获得车辆边界框与轨迹信息具体步骤如下：

步骤4.1，根据获取到的监控图像，对其中车辆进行实例级标注，构建车辆跟踪训练数据集，其中构建车辆跟踪训练数据集依照以下方式：将车辆边界框转化为车辆中心点的高斯分布图，通过取车辆边界框中心点坐标作为二维高斯分布均值，并取高斯分布区域的99.730020%作为车辆中心点分布区域，从而得到二维高斯分布，对任意车辆的边界框转换为二维高斯分布式为：

其中为第i辆车辆的中心点，，分别为第i辆车辆边界框的宽与高，Scale为输出中心点热图相对于原图的尺寸缩放尺度，将获得的高斯分布叠加至宽高为的空白热图标签上，其中由于互不相关，故取0；

步骤4.2，利用步骤4.1中所构建的车辆跟踪数据集对网络进行训练，根据每次训练结果对网络结构参数进行优化，其中，车辆跟踪网络训练特征匹配部分采用损失函数为：

其中表示正样本，即与属于同一ID的目标，而为负样本，即与不属于同一ID的目标，表示正类的权重，表示负类的权重，为所选样本批次大小；

步骤4.3，将所获得的场景图像按实时输入训练好的车辆目标跟踪网络，得到车辆跟踪结果，包含实例边界框与轨迹信息；

步 骤5的具体步骤如下：

步骤5.1，根据获取到的监控图像，对其中车辆进行像素级标注构建车辆分布密度估计训练数据集；

步骤5.2，利用步骤5.1中所构建的车辆分布密度估计训练数据集对网络进行训练，根据每次训练结果对网络结构参数进行优化，其中，训练所采取的损失函数为：

其中是图像块所有像素的平均值，是图像像素值的方差，为防止分母为0的常量，为图像像素值x方向和y方向方差的乘积；

步骤5.3，将实时场景图像输入训练好的车辆分布密度估计网络，得到车辆分布密度估计热图；

步骤6的具体操作如下：

步骤6.1，将步骤4中得到的各个实例的边界框空间位置隐射至步骤5.3所获得的车辆分布密度估计热图上；

步骤6.2，对车辆分布密度热图上各个实例所对应区域内的密度值进行积分计算，即，对密度值进行积分数学表达式为：

其中，分别为第i个轨迹段所对应的目标框的横向宽度与纵向高度，，为该目标框左上角坐标，为相应坐标点处密度值，对于通常非密集状态时边界框的；

步骤6.3，利用积分计算结果更新实例所代表的车辆数目。