[发明专利]伪3D卷积神经网络与注意力机制结合的驾驶疲劳检测方法及系统

权利要求书

1.一种伪3D卷积神经网络与注意力机制结合的驾驶疲劳检测方法，其特征在于包括如下步骤：

视频提取帧序列步骤；

P3D模块进行时空特征学习步骤，P3D模块利用1×3×3卷积核和3×1×1卷积核在空间域和时间域上模拟3×3×3卷积，在时间和空间上将3×3×3卷积进行解耦；

构建P3D-Attention模块步骤，使用注意力机制在通道与特征图上施加关注；

使用双通道注意力模块即分别时间帧和空间帧上施加关注强化关键帧，依据特征图自动给不同关节点分配不同的注意力，关注先验知识所提到的位置，去除背景和噪声对识别的干扰；注意力机制表达为：

（1）

式中，M代表注意力模块，为特征图；

所述的双通道注意力模块：分别在视频帧之间和每一帧的通道上施加关注；特征图，其中R中的F代表帧，C代表每一帧下的通道数，H和W代表不同通道下的特征，学习的权重来决定每个通道的重要性，将的特征图转置为，并嵌入到2D空间注意力模块中，分别学习与的权重来分别表达对帧与通道的关注；

2D空间注意力模块通过一个2D卷积核来获取特征层在空间维度上的权重图；的空间注意力模块学习的权重来确定每个特征图的重要性；

在P3D模块将3D卷积解耦成空间与时间卷积的基础上注意力模块分为三个不同的P3D-Attention模块实现网络模型；

P3D-Attention-A：时间1D卷积核T级联到空间2D卷积核S，通过在S后级联空间注意力模块SA，并在T后级联通道注意力模块CA，实现P3D-Attention-A结构，时间1D卷积核T直接连接到最终输出，由式（2）给出：

（2）

式中，X_t表示输入特征图，X_t+1表示施加注意力机制后的输出，X_t与X_t+1 具有相同的特征维度；

P3D-Attention-B：原有的P3D-B采用两个卷积核之间的间接影响，使得两个卷积核以并行方式处理卷积特征；去掉残差单元基础上，在S位置后级联空间注意力模块SA，并接着在T位置后级联通道注意力模块CA，表示为:

（3）

P3D-Attention-C：原有的P3D-C模块是P3D-A和P3D-B之间的折衷，通过同时建立S、T和最终输出之间的直接影响；为了实现基于级联P3D-A架构的S和最终输出之间的直接连接，通过添加注意力模块构建P3D-Attention-C，表示为:

（4）

注意力机制为不同的通道与特征赋予不同的权重，在经过几次卷积后时空特征信息已经融合获取关键特征，在P3D-Attention-A模块后级联3D最大池化层进行下采样；

还包括分类步骤。

2.根据权利要求1所述的伪3D卷积神经网络与注意力机制结合的驾驶疲劳检测方法，其特征在于所述的分类步骤：在3D卷积中使用2D全局平均池化层的方法，视频帧经过3个P3D模块与3个P3D-Attention模块后，将特征转置后输入到2D全局平均池化层中，最终将特征输入到Softmax中进行分类。