[发明专利]一种基于深度学习的汽车盲区危险物报警方法

权利要求书

1.基于汽车盲区报警系统的深度学习汽车盲区报警方法，其特征在于，

所述深度学习汽车盲区报警方法，包括以下步骤：

步骤1：构建数据集，配置网络模型并通过数据集训练，待损失值稳定时停止训练，得到训练后网络模型；

步骤2：使用左后视镜摄像头、车前摄像头、右后视镜摄像头、左车尾摄像头、车尾摄像头、右车尾摄像头分别采集驾驶中的图像，传输至对应的处理器中对图像进行预处理；

步骤3：对应的处理器将处理好的图像输入到训练后网络模型中，检测图像中危险物类别、危险物边界框的位置坐标以及危险物类别的置信度；

步骤4：通过距离转换公式，将危险物边界框的位置坐标转换到世界坐标系中，并计算出危险物到对应摄像头的水平距离；

步骤5：中央控制器根据第一处理器、第二处理器、第三处理器、第四处理器、第五处理器、第六处理器输入的标有危险物边界框的图像输送至车载显示器实时显示，将危险物的类别、危险物边界框的位置坐标以及危险物类别的置信度分别传输到语音转换器，生成危险警告的语音，由车载音响播报警告；

步骤1中所述网络模型为：

所述网络模型由三部分构成；

网络模型的L0层为输入层；

所述网络模型第一部分结构为：(L1、L2、L3、L4、L5、L6、L7、L8、L9、L10、L11、L12)；

所述网络模型第一部分由一组卷积层和最大池化层交替组成，其中所述网络模型第一部分一组卷积层为：(L1、L3、L5、L7、L9、L11)，过滤器大小为3×3，步长为1；

所述网络模型第一部分最大池化层为：(L2、L4、L6、L8、L10、L12)，过滤器大小为2×2，步长为2，所述卷积层、最大池化层过滤器的长度均依次为16，32，64，128，256，512；

其中，L12与其他最大池化层不同，步长为1；接着第13层为卷积层即L13，过滤器大小为3×3×1024，步长为1，输出大小为13×13×1024的张量；

所述网络模型第二部分结构为：(L14、L15、L16)；

所述网络模型的第二部分由三个卷积层构成，输入为第一部分网络模型产生的13×13×1024的张量，所述第二部分中三个卷积层依次串联连接；

第一个卷积层为：L14，过滤器大小为1×1×256，步长为1，输出大小为13×13×256的张量；

第二个卷积层为：L15，过滤器大小为1×1×512，步长为1，输出大小为13×13×512的张量；

第三个卷积层为：L16，过滤器大小为1×1×87，步长为1，输出大小为13×13×87的张量作为模型的预测结果的第一部分；

所述网络模型第三部分由L17、L18、L19、L20、L21构成；

所述网络模型第三部分的输入为第一部分网络模型产生的输出结果，经过第一个过滤器大小为1×1×128，步长为1的卷积层即L17；

再执行2倍上采样即L18，产生26×26×1024的张量，与所述网络模型第一部分的L9产生的26×26×256的张量连接为L19，产生张量大小为26×26×1280；接着为卷积层即L20，过滤器大小为3×3×256，步长为1，输出大小为26×26×256的张量；

接着为卷积层即L21，过滤器大小为1×1×87，步长为1，输出大小为26×26×87的张量，作为模型预测结果的第二部分；

所述网络模型的所有卷积层均采用Leaky ReLU函数；

网络模型的预测结果由所述网络模型第二部分的13×13×87的张量和所述网络模型第三部分的26×26×87的张量共同构成，可表示为S×S×87，S表示特征网格的行、列数；

其中，S1＝13和S2＝26为输入图像经过32倍和16倍下采样的结果，分别被划分为13×13和26×26个网格，如果某个真实框对应的目标的中心坐标值落入在某个网格中，那么就由该网格负责预测该目标；

该张量第三维大小为：

87＝3×(8+1+20)＝B×(8+Pr(object)+class)

其中，3表示每个网格上包围盒的数量B，也即是标定锚的数量，8为位置坐标，具体定义为：

是预测包围盒中心位置的横坐标相对于所在网格中心位置的横坐标的偏移量，是预测包围盒中心位置的纵坐标相对于网格中心位置的纵坐标的偏移量，是预测包围盒的宽和高相对于输入图像宽和高的比值；代表对的不确定性、代表对的不确定性、代表对的不确定性、代表对的不确定性；

1为置信度Pr(object)表示了包围盒含有目标的概率和准确度，如果包围盒中不存在目标，则置信度为零；

class为目标的种类数(class＝20)，表示包围盒中的目标object存在的条件下，属于第m个类别class_m的概率为Pr(class_m|object)；

使用sigmod函数转换八个位置值得到介于0和1之间的坐标即∑t_x，∑t_y，∑t_w，∑t_h，所述转换公式为：

训练网络的损失函数模型包括为：

Loss＝L_x+L_y+L_w+L_h+L_obj+L_conf

其中，(L_x，L_y，L_w，L_h)为坐标损失，L_obj为分类损失，L_conf为置信度损失；

包围盒坐标的产生使用了正态分布模型即N(μ，σ²)，所述包围盒坐标损失使用修改的负对数似然损失-log(f(x)+ε)；

N是正态分布模型的符号；μ表示正态分布的均值，σ²表示方差；f(x)为似然函数(即N(μ，σ²))；ε表示随机影响因子；

i，j，k，m为下标索引，表示特征图上(i，j)处网格上的第k个包围盒，i，j∈(1，2...，S)，S∈(S1＝13，S2＝26)，k∈(1，2...，B)，m∈(1，2...，class)；

L_x计算如下：

其中，为正态分布模型，表示的是特征图上(i，j)处网格上的第k个包围盒中心点的表示的是特征图上(i，j)处网格上的第k个包围盒中心点的横坐标的∑t_x，表示特征图上(i，j)处网格上的第k个包围盒处真实框的中心点的横坐标，x^G表示该真实框的中心点的横坐标占整张图片的比例；λ_coord＝5，用于增加包围盒预测坐标值的损失；

进一步地，L_y计算公式为：

其中，为正态分布模型，表示的是特征图上(i，j)处网格上的第k个包围盒中心点的表示的是特征图上(i，j)处网格上的第k个包围盒中心点的∑t_y，表示特征图上(i，j)处网格上的第k个包围盒真实框的中心点的纵坐标，其中y^G表示真实框的中心点的横坐标占整张图片的比例；

L_w计算公式如下：

其中，为正态分布模型，表示的是特征图上(i，j)处网格上的第k个包围盒中心点的表示的是特征图上(i，j)处网格上的第k个包围盒中心点的∑t_w，表示特征图上(i，j)处网格上的第k个包围盒真实框的宽度，其中w^G表示真实框的宽度占整张图片的比例，表示第k个标定锚的宽；IW为输入图片的宽度；

L_h计算公式如下：

其中，为正态分布模型，表示的是特征图上(i，j)处网格上的第k个包围盒中心点的表示的是特征图上(i，j)处网格上的第k个包围盒中心点的∑t_h，表示特征图上(i，j)处网格上的第k个包围盒真实框的高度，其中h^G表示真实框的宽度占整张图片的比例，表示第k个标定锚的高；IH表示输入图片的高度；

γ_ijk表示对真实框的尺寸进行调整的比例系数：

w_scale＝2-w^G×h^G

其中，参数只有当包围盒中的目标能找到合适的标定锚框时才有意义，即当真实框与(i，j)处网格的第k个标定锚框的IOU值最大时，否则为0；w_scale表示目标框的尺寸调整的权重；

所述置信度损失L_conf，采用二分类交叉熵损失：

其中，C_ijk为真实图片在网格(i，j)处第k个包围盒所在的区域内包含目标的置信度；是网络模型预测的，在网格(i，j)处第k个包围盒所在的区域内包含目标的置信度，也就是上文说的Pr(object)；λ_noobj＝0.5，用于降低不包含目标的包围盒的置信度损失；

分类损失L_obj为：

其中，p_ijk(m)为真实图片在网格(i，j)处第k个包围盒所在的区域内包含目标属于第m类的概率，为网络模型预测的，在网格(i，j)处第k个包围盒所在的区域内包含目标属于第m类的概率即所述的Pr(class_m|object)，class_m表示目标属于第m类，m∈(1，2...，class)；

锚的产生：所述网络模型采用锚计算预测包围盒，每个网格有S×S个包围盒，每个包围盒有B个锚，锚一共有2*B种尺寸，采用K-Means算法基于训练数据集聚类成2*B个组，得到2*B个尺寸锚值；

其中数据点到中心点的距离为：

d(box，centroid)＝1-IOU(box，centroid)

其中，Centroid为聚类中心，box为其余的数据点，IOU为交并比；

通过反向梯度传播的算法进行迭代计算，逐渐降低损失值至损失值不再降低，并不断调整网络模型中的参数；

设置所述网络模型的初始学习率、冲量、权重衰减率、梯度衰减率，所述网络模型在训练集上迭代多次，得到训练后网络模型；

所述汽车盲区报警系统包括：左后视镜摄像头、车前摄像头、右后视镜摄像头、左车尾摄像头、车尾摄像头、右车尾摄像头、第一处理器、第二处理器、第三处理器、第四处理器、第五处理器、第六处理器、交换机、中央控制器、车载显示器、语音转换器、车载音响以及电源模块；

所述左后视镜摄像头与所述第一处理器通过导线连接；所述车前摄像头与所述第二处理器通过导线连接；所述右后视镜摄像头与所述第三处理器通过导线连接；所述左车尾摄像头与所述第四处理器通过导线连接；所述车尾摄像头与所述第五处理器通过导线连接；所述右车尾摄像头与所述第六处理器通过导线连接；所述左后视镜摄像头与所述第一处理器通过导线连接；

所述第一处理器与所述交换机通过网线连接；所述第二处理器与所述交换机通过网线连接；所述第三处理器与所述交换机通过网线连接；所述第四处理器与所述交换机通过网线连接；所述第五处理器与所述交换机通过网线连接；所述第六处理器与所述交换机通过网线连接；

所述交换机与所述中央控制器通过导线连接；所述中央控制器与所述车载显示器通过导线连接；所述中央控制器与所述语音转换器通过导线连接；所述语音转换器与所述车载音响通过导线连接；所述电源模块分别与所述左后视镜摄像头、车前摄像头、右后视镜摄像头、左车尾摄像头、车尾摄像头、右车尾摄像头、第一处理器、第二处理器、第三处理器、第四处理器、第五处理器、第六处理器、交换机、中央控制器、车载显示器、语音转换器、车载音响通过导线依次连接。