[发明专利]一种基于深度学习的驾驶员安全带检测装置及检测方法

权利要求书

1.一种基于深度学习的驾驶员安全带检测装置，包括安装在道路一侧车流方向下游的支架(4)，其特征在于：所述支架(4)上依次安装有第一激光测距装置(1)、面阵相机(2)及第二激光测距装置(3)，车流方向上游的道路两侧分别设有对应的红外发射器(5)及红外接收器(6)，第一激光测距装置(1)、面阵相机(2)、第二激光测距装置(3)、红外发射器(5)和红外接收器(6)分别与处理器(7)双向信号连接。

2.基于权利要求1所述的装置的一种基于深度学习的驾驶员安全带检测方法，其特征在于：具体包括以下步骤：

步骤一、分别通过处理器(7)对第一激光测距装置(1)及第二激光测距装置(3)设定阈值，启动面阵相机(2)对行驶车辆图像采集，通过第一激光测距装置(1)测量当前汽车的距离，并将该距离与第一激光测距装置(1)设定的阈值进行比对，当行驶车辆与第一激光测距装置(1)的距离值小于或等于第一激光测距装置(1)的设定的阈值时，面阵相机(2)开始对行驶车辆进行连续图像采集；另外，在第一激光测距装置(1)的设定阈值内，面阵相机(2)拍摄一张没有车辆的空场图片，作为背景；

同时，处理器(7)控制红外发射器(5)和红外接收器(6)发射和接收红外信号，若红外发射器(5)发出的信号能够被红外接收器(6)接收，则面阵相机(2)继续进行图像采集；若红外发射器(5)发出的信号，红外接收器(6)接收不到，则面阵相机(2)图像采集结束；

若红外接收器(6)接收不到红外发射器(5)发出的信号，则处理器(7)控制第二激光测距装置(3)测量当前汽车的距离，并将该距离值与第二激光测距装置(3)设定的阈值进行比对，若车辆与第二激光测距装置(3)的距离值小于或等于第二激光测距装置(3)设定的阈值时，处理器(7)控制面阵相机(2)对当前车辆进行图像采集，用于记录当前车辆的车牌信息；

步骤二、图像处理

1)对从步骤一中采集的连续图片中的每张图片中分割出车辆，具体操作如下：

对步骤一中采集的图片与步骤一中拍摄的背景图片进行操作：

设图片为M*N的矩阵，M为图像的行数，N为图像的列数，矩阵的每个元素为图片的灰度值，设采集到的图像为A，背景图像为B；

设两个变量i和j,i的取值为1，2，3…M，j的取值为1，2，3…N，将A(i，j)的值与B(i,j)的值相减，将相减后的值取绝对值，该值小于阈值T的定为0，大于阈值T定为1，将该0或1作为新获得的图像D(i,j)的值，阈值T的值设为A(i，j)矩阵M*N个灰度值的平均值；

遍历图像D(i,j)找到值连续为1的行号i和列号j，其中最大和最小的行号i1、i2和列号j1、j2所对应的图像中的位置就是车辆的区域，从图像中分割出了车辆区域；

2)从步骤二第1)步分割出的车辆图像中分割出前挡风玻璃；

设分割出的图像大小为K行，L列，记为V，设循环变量为i和j；

i的值从2到K-1依次循环，对于每个i,j的值从2到L-1依次循环；

得到一个矩阵将该矩阵中的每行像素按降序排序，得到最大值、中间值和最小值；把三行中的最小值即第三列的值进行比较，取其中的最大值；把三行中的最大值即第一列的值进行比较，取其中的最小值；把三行的中间值即第二列的值进行比较，取中间值；把三个值再做一次降序排序，获得的值作为新的图像矩阵V₁第i行第j列的值；遍历所有的i和j，得到处理后的图像矩阵V₁(i,j)；

对V₁(i,j)进行以下操作分割车辆前挡风玻璃：

待处理图像V₁(i,j)具有为K行，L列，灰度值为d,d的范围是[0,255]，d从0开始每次加1直到255循环；

对应一个确定d,计算图像V₁(i,j)中灰度值小于或等于d个数，记为N1，则图像V₁(i,j)中灰度值小于或等于d的概率P1＝N1/(K*L)；计算图像V₁(i,j)中灰度值大于d个数，记为N2，则图像V₁(i,j)中灰度值大于d的概率为P2＝N2/(K*L)；计算V₁(i,j)中灰度值小于或等于d的均值q_i为灰度值为i的概率，即图像中灰度值为i的个数除以M*N，i的取值为0到d；计算V₁(i,j)中灰度值大于d的均值计算灰度值为d时的方差σ_d＝P₁P₂(μ₁-μ₂)²；

当灰度值从0到255循环时，可以得到256个方差值，即σ₀,σ₁,σ₂Lσ₂₅₅，找出这256个值中最大的值，该值对应的下标确定为最优的分割阈值，设为T；

利用阈值T对图像V₁(i,j)的灰度大于等于T保持原来的灰度值，对灰度值小于T的，将该灰度值置为0，处理后的图像记为V2；

3)根据步骤二第2)步中分割出的车前挡风玻璃图像，进行驾驶员安全带识别，具体方法如下：

建立网络结构模型：将图像V2输入到Resnet152网络，Resnet152网络的输出分两个并行的分支进行；

其中一支对Resnet152网络的输出并行进行1*1空洞卷积运算、采样率为6的3*3空洞卷积运算、采样率为12的3*3空洞卷积运算、采样率为18的3*3空洞卷积运算、进行图像池化，通过以上操作后的结果连接后再进行组归一化操作，然后进行激活操作，激活函数采用relu，再采用1*1的卷积运算后进行连接，并采用4倍上采样得到图像T1；

Resnet152网络输出并行的另一支先进行组归一化后通过relu函数进行激活，再通过1*1的卷积运算操作后得到图像T2；

将图像T1和图像T2进行连接后采用3*3的卷积运算后进行全局池化，再进行1*1卷积操作，再进行组归一化处理，采用sigmoid函数进行激活，得到图像T3；

将图像T3进行2倍上采样后进行全局池化操作、1*1卷积操作、组归一化操作，采用sigmoid函数进行激活，通过softmax层，输出识别概率；

所述组归一化的方法为：H和W表示特征图像的高度、宽度用，N表示分组数，C表示特征图像的通道数，组归一化作用域S_i的计算为：

i和k分别为特征图上的一个点的具体坐标，其中i包括(i_N,i_C,i_H,i_W),k包括(k_N,k_C,k_H,k_W),G为在通道上的分组数目，本模型中将其设置为32；k_N＝i_N表示两个点在N维度上相等即具有相同的特征，表示两个点处于一个组内；

按照式(1)计算相同特征维度和相同组内的均值μ_i和方差σ_i，(x_i-μ_i)/σ_i为特征图i上的组归一化后的结果；

步骤三、驾驶员安全带检测识别

1)从步骤二计算连续图片中没有系安全带的概率，当概率大于0.95，则判定为没有系安全带；

2)根据步骤三第1)步判定结果，当概率大于0.95，则判定为没有系安全带。