[发明专利]基于多任务神经网络的驾驶行为检测方法和装置

权利要求书

1.一种基于多任务神经网络的驾驶行为检测方法，其特征在于，包括：

基于基础神经网络的卷积层确定第一神经网络，所述第一神经网络包括：第一输出网络和第二输出网络；

基于所述基础神经网络和HourGlass网络确定第二神经网络；

基于所述第一神经网络和所述第二神经网络确定第三神经网络；

使用样本信息对所述第三神经网络进行训练；所述样本信息包括样本的头部图像，所述头部图像包括所述样本的人脸信息；

基于训练好的所述第三神经网络对所述样本信息进行预测，其中，所述第一输出网络用于预测所述样本的关键点坐标，所述第二输出网络用于预测所述样本的头部姿势角度。

2.根据权利要求1所述的基于多任务神经网络的驾驶行为检测方法，其特征在于，基于基础神经网络的卷积层确定第一神经网络的步骤，包括：

将基础神经网络中指定数量个卷积层与第一输出网络的卷积层连接；

将所述基础神经网络的最后一个卷积层与第二输出网络的卷积层连接。

3.根据权利要求2所述的基于多任务神经网络的驾驶行为检测方法，其特征在于，所述第一输出网络包括关键点检测网络；所述第二输出网络包括头部姿势估计网络。

4.根据权利要求1所述的基于多任务神经网络的驾驶行为检测方法，其特征在于，基于所述基础神经网络和HourGlass网络确定第二神经网络的步骤，包括：

将所述基础神经网络中的若干个卷积层作为第一HourGlass网络的降采样卷积层，构建第一级联网络；

其中，所述第一HourGlass网络还包括与降采样卷积层相同数量的上采样卷积层。

5.根据权利要求4所述的基于多任务神经网络的驾驶行为检测方法，其特征在于，基于所述基础神经网络和HourGlass网络确定第二神经网络的步骤，还包括：

将若干个HourGlass网络连接，构建第二级联网络；

在所述第一级联网络后连接所述第二级联网络，确定第二神经网络。

6.根据权利要求5所述的基于多任务神经网络的驾驶行为检测方法，其特征在于，使用样本信息对所述第三神经网络进行训练的步骤，包括：

使用样本信息对所述第一输出网络的第一损失函数和所述第二输出网络的第二损失函数进行训练；

基于所述第一损失函数和所述第二损失函数的训练结果，对所述第二神经网络的融合损失函数进行训练。

7.根据权利要求5所述的基于多任务神经网络的驾驶行为检测方法，其特征在于，使用样本信息对所述第二神经网络进行训练的步骤，包括：

使用样本信息同时对所述第一输出网络的第一损失函数、所述第二输出网络的第二损失函数和所述第二神经网络的融合损失函数进行训练。

8.一种基于多任务神经网络的驾驶行为检测装置，其特征在于，包括：

第一确定模块，用于基于基础神经网络的卷积层确定第一神经网络，所述第一神经网络包括：第一输出网络和第二输出网络；

第二确定模块，用于基于所述基础神经网络和HourGlass网络确定第二神经网络；

第三确定模块，用于基于所述第一神经网络和所述第二神经网络确定第三神经网络；

训练模块，用于使用样本信息对所述第三神经网络进行训练；所述样本信息包括样本的头部图像，所述头部图像包括所述样本的人脸信息；

预测模块，用于基于训练好的所述第三神经网络对所述样本信息进行预测，其中，所述第一输出网络用于预测所述样本的关键点坐标，所述第二输出网络用于预测所述样本的头部姿势角度。

9.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述权利要求1至7任一项所述的方法。