[发明专利]一种基于深度学习的闯红灯违法自动审核方法

权利要求书

1.一种基于深度学习的闯红灯违法自动审核方法，其特征在于，包括以下步骤：

S1、获取前端违法抓拍机上传的原始违法图片；

S2、将图片进行切分，切分成3张间隔时间分别为1-2秒的证据图；

S3、检测并识别需要审核的车辆信息，先用车牌识别技术找出需要审核的车辆，然后利用车辆重检测技术找出该车辆在每张证据图中的位置；

S4、基于深度学习检测并识别红绿灯的状态，综合三张证据图，将红绿灯状态分为没有红灯，直行左转红灯，直行红灯左转绿灯，直行绿灯左转红灯，右转红绿灯单独记录；

S5、使用deeplab-v2分割算法对原始图片进行分割，分割出实线、停止线、导向线、车道线、斑马线等必要信息；

S6、基于图像处理技术判断车辆与停止线，导向线，车道线等的位置关系；

S7、根据闯红灯的电子警察照片筛选标准判断该原始违法图片是否审核通过。

2.如权利要求1所述的一种基于深度学习的闯红灯违法自动审核方法，其特征在于，所述S3利用车辆重检测技术找出该车辆在每张证据图中的位置步骤如下：

S31、在训练特征提取模块时，在网络最后一个256维全连接层接一个分类层，该层对不同款车型的进行分类，每一个类别拥有不同帧时刻采集的同一车，并对所有采集的车进行数据增强，当训练的损失值loss降低到最低时，裁剪掉分类层，取出上一个256维全连接层，此时获取的256维特征能够很好的表征该车辆的特征，

S32、对第一张图定位到的车辆输入到GoogLenet Inception-V2网络，在该网络的输入层，对输入的车辆进行padding，变成长宽一致的图像，多余的部分以0像素填充；然后对预处理后的图像进行上采样或下采样操作，统一resize成200＊200分辨率的图像，最后得到一个256维特征；

S33、对第二张图所有待匹配的车辆输入GoogLenet Inception-V2网络，同S32，得到若干256维特征；

S34、对第三张图所有待匹配的车辆输入GoogLenet Inception-V2网络，同S32，得到若干256维特征；

S35、用S32中一个256维特征和S33中若干个256维特征做余弦相似度，由于特征提取模块提取的256维特征已经能够很好的表征该车辆，所以采用余弦相似可以更显现出两辆车之间的差异度，最后取出得分最高所对应的256维特征；

S36、用S33中得分最高的256维特征和S34中若干个256维特征做余弦相似度，取出得分最高所对应的256维特征；

S37、由于第二张图和第三张图通过检测算法已经分别检测出若干辆车，用上述算法找到相似度得分最高的车，取出得分最高所对应的车辆索引号即为跟踪到的车辆。

3.如权利要求1所述的一种基于深度学习的闯红灯违法自动审核方法，其特征在于，所述基于深度学习的红绿灯状态检测步骤如下：

S41、将原始的输入大图片划分为一个个小图片有重叠的拼接，重叠面积为红绿灯大小的统计最大值；

S42、将小图片依次输入SSD目标检测网络结构得到目标的坐标；

S43、将得到的目标坐标映射到大图上并合并重合的目标；

S44、将得到的目标输入到红绿灯分类网络得到红绿灯的类别，分类网络采用resnet18；

S45、由各个红绿灯的类别判断红绿灯的状态。