[发明专利]基于深度卷积神经网络的交通拥堵视觉检测系统

权利要求书

1.一种基于深度卷积神经网络的交通拥堵视觉检测系统，其特征在于：包括安装在城市道路上的摄像机、交通云服务器和道路交通拥堵检测系统；

所述的摄像机用于获取城市各道路上的视频数据，配置在道路的上方，通过网络将道路上的视频图像数据传输给所述的交通云服务器；

所述的交通云服务器用于接收从所述的摄像机所获得的道路视频数据，并将其递交给所述的道路交通拥堵检测系统进行检测和识别，最后将检测结果保存在云服务器中并以WebGIS的方式进行发布以便实现交通的控制、诱导和现场交警的快速应对；

所述的道路交通拥堵检测系统包括道路及行车方向定制模块、道路拥堵检测模块和道路拥堵状况发布模块；

所述的道路及行车方向定制模块用于定制在摄像机视场内道路的车道，在视频图像中根据实际道路上的行车线及行车方向画出虚拟车道，虚拟车道以左向右进行排列，命名最左的车道为1车道，接着与此相邻的右边车道为2车道，…,根据车道的数量N规定最右边的车道为N车道；

所述的道路拥堵检测模块，包括了基于Fast R-CNN车辆检测单元、光流法静止车辆检测单元、按车道统计静止车辆单元和道路拥堵计算单元。

2.如权利要求1所述的基于深度卷积神经网络的交通拥堵视觉检测系统，其特征在于：所述的基于Fast R-CNN车辆检测单元用于检测在视频图像中的所有车辆，具体做法是采用深度卷积神经网络快速分割出道路上的机动车辆并给出这些车辆在道路上所占的空间位置信息；

使用的机动车分割及定位由两个模型组成，一个模型是生成RoI的选择性搜索网络；另一个模型是Fast R-CNN机动车目标检测网络；

所述的选择性搜索网络，即RPN；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；所述的目标建议框的目标指的是机动车辆对象；

对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层；k个建议框被相应的k个称为anchor的建议框参数化；

每个anchor以当前滑动窗口中心为中心，并对应一种尺度和长宽比，使用3种尺度和3种长宽比，这样在每一个滑动位置就有k＝9个anchor；

为了训练RPN网络，给每个anchor分配一个二进制的标签，以此来标注该anchor是不是目标；然后分配正标签给这两类anchor：(I)与某个真正目标包围盒，即Ground Truth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重叠的anchor；(II)与任意GT包围盒有大于0.7的IoU交叠的anchor；注意到一个GT包围盒可能给多个anchor分配正标签；分配负标签给与所有GT包围盒的IoU比率都低于0.3的anchor；非正非负的anchor对训练目标没有任何作用，则弃用；

有了这些定义，遵循Fast R-CNN中的多任务损失，最小化目标函数。对一个图像的损失函数定义为：

L({pi},{ti})=1NckΣiLcls(pi,pi*)+λ1NregΣipi*Lreg(ti,ti*)---(1)]]>

这里，i是一个anchor的索引，p_i是anchor是第i目标的预测概率，如果anchor为正，GT标签就是1，如果anchor为负，就是0；t_i是一个向量，表示预测的包围盒的4个参数化坐标，是与正anchor对应的GT包围盒的坐标向量；λ是一个平衡权重，N_cls是cls项的归一化值为mini-batch的大小，N_reg是reg项的归一化值为anchor位置的数量，分类损失函数L_cls是两个类别，即机动车辆对象目标与非机动车辆目标的对数损失：

Lcls(pi,pi*)=-log[pi*pi+(1-pi*)(1-pi)]---(2)]]>

式中，L_cls为分类损失函数，P_i为anchor是第i目标的预测概率；P_i^*为真正目标包围盒的第i目标的预测概率；

对于回归损失函数L_reg，用以下函数定义：

Lreg=(ti,ti*)=R(ti-ti*)---(3)]]>

式中，L_reg为回归损失函数，R是鲁棒的损失函数，用公式(4)计算smoothL₁；

smoothL1(x)=0.5x2if|x|<1|x|-0.5otherwise,---(4)]]>

式中，smooth_L1为smooth L₁损失函数，x为变量；

Fast R-CNN网络，在输入图像经过深度卷积神经网络后可以得到特征图，依据特征图以及RPN网络则可以得到相应的RoIs，最后则通过RoI池化层；其中RoI，即感兴趣区域，指的就是机动车的区域；

对于Fast R-CNN网络，输入是N个特征映射和R个RoI；N个特征映射来自于最后一个卷积层，每个特征映射的大小都是w×h×c；

每个RoI是一个元组(n,r,c,h,w),其中，n是特征映射的索引，n∈(0,1,2,...,N-1)，r,c是左上角坐标，h,w分别是高和宽；

输出则由最大池化得到的特征映射；将原图中的RoI与特征图中的块对应起来；将特征图下采样为固定大小，然后再传入全连接。