[发明专利]基于关节点时空简单循环网络和注意力机制的动作分类方法

摘要

本发明涉及一种基于关节点时空简单循环网络和注意力机制的动作分类方法。首先，将普通的SRU模型进行空间维度扩展，设计了一种同时在时间和空间两个维度上进行迭代计算的ST‑SRU模型。然后，在所提ST‑SRU模型基础上，引入全局上下文注意力机制，提出了GCA‑ST‑SRU方法。最后，将所提方法用于人体行为识别，先用深度网络提取人体关节点的特征，再采用GCA‑ST‑SRU方法对提取的特征进行识别。本发明方法能够降低训练耗时和提升分类准确率，具有明显的效率优势。本发明方法快速地推断速度有利于实时动作识别系统的设计，适合运行在计算能力有限的平台上，在计算机视觉、智能监控、人机交互等领域具有广阔的应用前景。

主权项

1.基于关节点时空简单循环网络和注意力机制的动作分类方法，其特征在于该方法包括以下主要步骤：步骤(1)：用深度学习方法从关节点数据中提取特征将第k时刻的J个关节点的三维坐标x1,k,x2,k,...,xJ,k通过下面的公式转换为特征I1,k,I2,k,...,IJ,k：其中，WU1、WU2和WU3是深度神经网络的全连接层的权重矩阵，ReLu是激活函数；步骤(2)：在时空方向上迭代计算时空简单循环单元的隐含状态用j＝1,2,...,J，t＝1,2,...,T表示关节点和图像帧的下标，时空简单循环单元的隐含状态包含内部状态cj,t和输出状态hj,t，其中内部状态cj,t的计算有三个输入：分别是第t帧图像中对应的第j个关节点的特征xj,t、同一个关节点在上一帧的内部状态cj,t‑1以及前一个关节点在当前帧的内部状态cj‑1,t；时空简单循环单元从j＝1，t＝1时开始计算内部状态cj,t，直到j＝J，t＝T时停止，迭代计算出所有的内部状态cj,t和输出状态hj,t，计算公式如下：rj,t＝sigmoid(Wrxj,t+br)   (9)hj,t＝rj,t⊙tanh(cj,t)+(1‑rj,t)⊙xj,t   (11)其中，时空简单循环单元拥有两个不同的遗忘门对应两个不同维度的历史信息：对应空间维度，对应时间维度；r_j,t是重置门，用于调整输出状态；sigmoid和tanh是激活函数，⊙表示矩阵点乘；最后，将两个时空简单循环单元叠加起来，即对于j＝1,2,...,J，t＝1,2,...,T，将第一层时空简单循环单元的输出状态hj,t作为第二层时空简单循环单元的输入xj,t，然后重复步骤(2)计算第二层时空简单循环单元的隐含状态；步骤(3)：更新全局上下文记忆单元的状态将注意力模型结合到时空简单循环单元中，得到了全局上下文注意力简单循环单元；用F(n)表示第n次更新的全局上下文记忆单元，n＝1,2,...,N，N表示全局上下文记忆单元迭代更新的次数；首先，计算初始值F(0)，公式如下：其中，是第一层时空简单循环单元的输出状态，J是人体关节点个数，T是图像帧的帧数；在第n次更新全局上下文记忆单元时，计算以下公式：其中，We1和We2是待学习的参数矩阵，exp是以自然常数e为底的指数函数；对于第一层时空简单循环单元的输出状态都计算得出一个对应的r_j,t，其中r_j,t∈(0,1)，它表示对判断动作类别的重要程度；然后，将代入到第二层时空简单循环单元的输入x_j,t中，为了将注意力模型和时空简单循环单元结合，将第二层时空简单循环单元对应的式(10)改为：最后，更新全局上下文记忆单元F(n):其中，o⁽ⁿ⁾表示第2层时空简单循环单元在j＝J，t＝T时的输出状态，是只用于第n次迭代更新时的矩阵参数；当n＝N时，全局上下文记忆单元的N次迭代更新过程结束，行为分类的最终预测结果yp为:yp＝softmax(Wc(F(N)))   (17)其中，Wc是全连接层的权重矩阵，softmax是归一化指数函数，即分类器。