[发明专利]一种基于人体特征细分类的驾驶员行为识别方法

权利要求书

1.一种基于人体特征细分类的驾驶员行为识别方法，其特征在于，包括如下步骤：

步骤1：建立驾驶员行为识别的图像数据集

获取样本图像数据，建立图像数据集，样本图像中包含各种驾驶员行为，将图片数据集划分为训练集和测试集，且测试样本图片中驾驶员与训练样本中的驾驶员独立；

步骤2：构建基于人体特征细分类的识别模型

所述模型包括关键点区域定位模块以及驾驶员行为识别模块，所述关键点区域定位模块采用Stacked Hourglass Networks模型，所述驾驶员行为识别模块采用VGG-19模型；通过Stacked Hourglass Networks模型进行关键点定位，随后，对关键点区域进行学习，将人体部位的具体动作作为卷积分类的中层特征；具体包括如下过程：

步骤201：Stacked Hourglass Networks模型中Residual子模块为初级模块，该模块第一行结构为卷积网络结构，由两层卷积核尺度为3*3以及一层卷积核尺度为1*1的卷积层构成，卷积层之间穿插了Batch Normalization层以及ReLU激活层；第二行为ResNet连接，由卷积核尺度为1*1的卷积层构成，该子模块中所有卷积层均不改变特征的尺寸；

步骤202：Stacked Hourglass Networks模型的核心模块为Hourglass子网络，该子网络由Residual子模块构成，该子网络分为两路，且两路均包含若干个Residual子模块；

步骤203：Stacked Hourglass Networks模型由两个四阶Hourglass子网络构成，原始图片在经过一次降采样后作为第一个Hourglass子网络的输入，随后Hourglass子网络的输出结果经过两次线性变换操作得到一个输出响应图，而第二个Hourglass子网络的输入分别为第一个Hourglass子网络的输入、输出以及预测结果，该Hourglass子网络最终输出一个响应图；

步骤204：在模型中引入中继监督的机制，每一级Hourglass子网络输出的响应图均与真实的响应图进行比较，并将误差作为代价进行训练；

步骤205：选定头部、右手、右手肘、左手、左手肘5个关键点区域；训练Stacked HourglassNetworks模型时，标注数据集中的关键点位置；设某关键点p的正确响应图为模型中输出的响应图为那么每个阶段的Loss函数为：

四阶段的Loss为：

步骤206：利用Stacked Hourglass Networks模型对驾驶员图像进行关键点定位；随后根据一定的规则绘制出头部、左手、左手肘、右手、右手肘的矩形区域并截图；在获取关键点部位的图像之后，根据制定的动作类别进行标注；具体的动作类别如下：

当关键点部位为头部时，关键点的动作类别包括：正常、向下看、转头、嘴含物体、右耳侧有物体、左耳侧有物体；当关键点部位为左手时，关键点的动作类别包括：握物体、拿物体、夹物体；当关键点部位为左手肘时，关键点的动作类别包括：伸直、小幅度弯曲、大幅度弯曲；当关键点部位为右手时，关键点的动作类别包括：握物体、拿物体、夹物体；当关键点部位为右手肘时，关键点的动作类别包括：伸直、小幅度弯曲、大幅度弯曲；

步骤207：利用关键部位动作类别特征进行驾驶员行为分类，网络模型分为两路，其中一路经过Stacked Hourglass Networks模型进行关键点定位并通过一定的规则获取五个关键部位的矩形区域的坐标；另一路首先将全局图像的尺寸调整合适后送入VGG-19网络进行特征提取；全局图像在经过VGG-19模型处理后将在第五个池化层位置处得到一个全局特征f_whole，随后ROI Pooling层根据关键部位的矩形区域坐标信息以及全局特征f_whole获取五个关键部位的特征f_part，并运用一个全连接层将五个关键部位特征向量转化为一个特征向量f_part+；在得到关键点区域初级特征之后，利用全连接层将其转换为关键部位动作类别特征；在模型的特征融合位置，将全局特征、关键点区域初级特征以及关键部位动作类别特征进行级联作为驾驶员行为识别的特征；在训练阶段，对关键部位动作类别特征训练一个驾驶员行为分类器，将级联特征分类器的输出与关键部位动作类别特征分类器的输出相加作为最终的驾驶员行为识别结果；

步骤3：训练基于人体特征细分类的识别模型

搭建网络模型，通过随机梯度下降方法优化网络参数；

步骤4：对基于人体特征细分类的识别模型进行测试

给定一张驾驶员行为图像，将测试图像归一化尺寸后作为模型的输入，通过前向传播获得测试图像的行为识别结果。