[发明专利]基于深度学习方法的前挡风玻璃及驾驶员区域定位方法

权利要求书

1.基于深度学习方法的前挡风玻璃及驾驶员区域定位方法，其特征在于，具体按照以下步骤实施：

步骤1、构造数据集，随机分为训练集和测试集，并对训练集和测试集进行格式转换；通过聚类算法得出数据集中目标框的长宽的集中值，作为先验框；

步骤2、构建卷积神经网络；卷积神经网络包括有特征提取网络和特征融合网络，设置特征提取网络结构和特征融合网络结构的每层参数；

步骤3、设置步骤2所构建卷积神经网络训练时需要的损失函数、网络优化算法及所有超参数；损失函数为自定义联合损失函数；

步骤4、根据步骤3设置的卷积神经网络的损失函数、网络优化算法对步骤2构建的卷积神经网络进行训练；并保存模型权重；

步骤5、对步骤1中的测试集通过步骤4中得到的网络模型权重进行测试实验；

步骤6、对步骤5中预测出的前挡风玻璃区域框的结果进行目标几何的重定位，得出主驾驶位区域框。

2.根据权利要求1所述的基于深度学习方法的前挡风玻璃及驾驶员区域定位方法，其特征在于，步骤1具体包括以下步骤：

步骤1.1、对获得的图片进行人工标注，即把前挡风玻璃区域用矩形框框起来，通过用LabelImg软件标注出前挡风玻璃的位置，构造数据集；

步骤1.2、对步骤1.1得到的数据集随机分为测试集和训练集，并对测试集和训练集进行格式转换，转换为“图片地址-目标框大小-目标框的置信度”的文本格式；通过对转换后的数据集中目标框大小进行聚类算法得出所需要的预测目标框大小的先验框的大小。

3.根据权利要求1所述的基于深度学习方法的前挡风玻璃及驾驶员区域定位方法，其特征在于，步骤2具体包括以下步骤：

步骤2.1、构建特征提取网络结构，特征提取网络结构采用全卷积网络结构，其结构依次为：输入图片—输入三通道图像—第1个卷积层—第1个批量归一化操作层—第1个LeakyReLU激活函数层—第1个残差层—第2个残差层—第3个残差层—第4个残差层—第5个残差层—特征融合网络。

特征提取网络结构的参数如下：

将第1个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为32；第1个残差层的特征映射图的数目设置为64，残差块数目设置为1；第2个残差层的特征映射图的数目设置为128，残差块数目设置为2；第3个残差层的特征映射图的数目设置为256，残差块数目设置为8；第4个残差层的特征映射图的数目设置为512，残差块数目设置为8；第5个残差层的特征映射图的数目设置为1024，残差块数目设置为4；

其中，残差层的结构依次为：输入特征图—零填充操作—第1个卷积层—第1个批量归一化操作层—第1个LeakyReLU激活函数层—第2个卷积层—第2个批量归一化操作层—第2个LeakyReLU激活函数层—第3个卷积层—第3个批量归一化操作层—第3个LeakyReLU激活函数层—特征图对应相加操作；其中与之相加的特征图为第1个LeakyReLU激活函数层输出特征图，上述结构中从“第2个卷积层”到“特征图对应相加操作”为一个残差块；

其中残差层的参数为：将零填充设置为上左补一层零；将第1个卷积层的卷积核尺度设置为3*3，卷积步长设置为2*2，输出的特征映射图的数目为输入的特征映射图的数目；将第2个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，输出的特征映射图的数目为输入的特征映射图的数目的1/2；将第3个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，输出的特征映射图的数目为输入的特征映射图的数目的2倍；

步骤2.2、构建特征融合网络结构，采用具有上采样操作和卷积操作的卷积神经网络结构，特征融合后输出的特征图有3个；

第一个输出特征图结构依次为：特征提取输出特征图—第1个卷积层—第1个批量归一化操作层—第1个LeakyReLU激活函数层—第2个卷积层—第2个批量归一化操作层—第2个LeakyReLU激活函数层—第3个卷积层—第3个批量归一化操作层—第3个LeakyReLU激活函数层—第4个卷积层—第4个批量归一化操作层—第4个LeakyReLU激活函数层—第5个卷积层—第5个批量归一化操作层—第5个LeakyReLU激活函数层—第6个卷积层—第6个批量归一化操作层—第6个LeakyReLU激活函数层—第7个卷积层—第7个批量归一化操作层—第7个LeakyReLU激活函数层—输出特征图；

第二个输出特征图结构依次是：第一个输出特征图的第5个LeakyReLU激活函数层的输出—第1个卷积层—第1个批量归一化操作层—第1个LeakyReLU激活函数层—上采样—与特征提取层的第四个残差层输出的特征图进行并操作—第2个卷积层—第2个批量归一化操作层—第2个LeakyReLU激活函数层—第3个卷积层—第3个批量归一化操作层—第3个LeakyReLU激活函数层—第4个卷积层—第4个批量归一化操作层—第4个LeakyReLU激活函数层—第5个卷积层—第5个批量归一化操作层—第5个LeakyReLU激活函数层—第6个卷积层—第6个批量归一化操作层—第6个LeakyReLU激活函数层—第7个卷积层—第7个批量归一化操作层—第7个LeakyReLU激活函数层—第8个卷积层—第8个批量归一化操作层—第8个LeakyReLU激活函数层—输出特征图；

第三个输出特征图结构依次是：第二个输出特征图的第6个LeakyReLU激活函数层的输出—第1个卷积层—第1个批量归一化操作层—第1个LeakyReLU激活函数层—上采样—与特征提取层的第四个残差层输出的特征图进行并操作—第2个卷积层—第2个批量归一化操作层—第2个LeakyReLU激活函数层—第3个卷积层—第3个批量归一化操作层—第3个LeakyReLU激活函数层—第4个卷积层—第4个批量归一化操作层—第4个LeakyReLU激活函数层—第5个卷积层—第5个批量归一化操作层—第5个LeakyReLU激活函数层—第6个卷积层—第6个批量归一化操作层—第6个LeakyReLU激活函数层—第7个卷积层—第7个批量归一化操作层—第7个LeakyReLU激活函数层—第8个卷积层—第8个批量归一化操作层—第8个LeakyReLU激活函数层—输出特征图；

特征融合网络结构的参数如下：

第一个输出特征图的网络结构参数为：将第1个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为512；将第2个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为1024；将第3个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为512；将第4个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为1024；将第5个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为512；将第6个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为1024；将第7个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为20；

第二个输出特征图的网络结构参数为：将第1个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为256；将上采样尺寸设置为2*2；将第2个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为256；将第3个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为512；将第4个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为256；将第5个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为512；将第6个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为256；将第7个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为512；将第8个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为20；

第三个输出特征图的网络结构参数为：将第1个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为128；将上采样尺寸设置为2*2；将第2个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为128；将第3个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为256；将第4个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为128；将第5个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为256；将第6个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为128；将第7个卷积层的卷积核尺度设置为3*3，卷积步长设置为1*1，特征映射图的数目设置为256；将第8个卷积层的卷积核尺度设置为1*1，卷积步长设置为1*1，特征映射图的数目设置为20。