[发明专利]一种基于注意力机制的神经网络的人体动作识别方法

权利要求书

1.一种基于注意力机制的神经网络的人体动作识别方法，其特征在于：包括如下步骤：

1)构建特征提取和分类神经网络，所述的神经网络包含两个子模型，分别为深度卷积子网络和注意力子网络；

2)构建端到端的有监督训练方案，处理原始骨架序列，将骨架序列编码为由彩色时空图组成的三维矩阵，将其输入到深度卷积子网络中对其进行特征提取，输出一个向量P₁；

3)在注意力子网络中，提取表示关节运动程度的手工制作的特征，捕捉该动作的关键节点，输出一个向量P₂；

4)最后将P₁与P₂融合，通过最优化手段降低损失函数来训练模型，以至网络达到收敛，得到最终的识别准确率；

深度卷积子网络采用层叠卷积神经网络的结构，注意力子网络采用自定义的层和全连接层组合；

步骤2)中

其中P₁为深度卷积子网络输出的深层次时空特征，表示该动作属于标签空间中每一个类别的概率、W₁∈R^M×C和b₁∈R^M×1分别表示全连接层的权重矩阵和偏置向量；M表示标签类别数量，C为深度卷积子网络的输出维度；

为深度卷积子网络提取的时空特征，O表示从骨架序列编码的彩色图像，GAP表示全局平均池化层，是DenseNet-161中的GAP的输出、Conv为卷积层，ReLU为激活函数，BN为批归一化层；

步骤3)中

P₂＝W₂V+b₂

其中，P₂为注意力向量，W₂∈R^M×N和b₂∈R^M×1分别是全连接层的权重矩阵和偏置向量，

V＝V_X⊙V_Y⊙V_Z

⊙表示逐元素乘法，

其中分别表示骨架序列中第k个关节的X、Y、Z坐标的平均值，x_k、y_k、z_k分别表示骨架序列中第k个关节的X、Y、Z坐标，x_k＝[x_1,k,…,x_t,k,…,x_T,k]，y_k＝[y_1,k,…,y_t,k,…,y_T,k]，z_k＝[z_1,k,…,z_t,k,…,z_T,k]，T表示骨架序列的帧数；

步骤4)具体为：将上述所得的深层次时空特征P₁和注意力向量P₂按元素相乘以获得动作分类的最终结果，该结果表示如下：

其中表示预测的结果，采用交叉熵损失函数来测量真实类标签y和预测结果之间的差异。