[发明专利]一种基于图卷积神经网络的骨架数据行为识别方法

权利要求书

1.一种基于图卷积神经网络的骨架数据行为识别方法，其特征在于，包括以下步骤：

步骤(1)、将训练集中每一段骨架数据的时间维度进行下采样使得数据的时间维度固定，以训练神经网络；

步骤(2)、将步骤(1)中输入神经网络的骨架数据按空间坐标拆分成三个空间通道，把每一个空间通道分别送入带双重注意力的图卷积模块，其中，带双重注意力的图卷积模块包括图卷积子模块和注意力子模块；

对于空间通道，将输入的特征向量input送入一个全连接层获得向量x，该全连接层输入和输出维度相同，向量x的维度为(T，N)，T表示时间维度，N表示骨架点空间维度；

在图卷积子模块中，利用向量x和原始图结构A学习带权重骨架图结构A_attention，使用公式(1)表示：

A_attention＝softmax(LeakyReLU(fc(x)+fc(x)^T)+Mask(A)) (1)

上式中，fc(.)是全连接层，该全连接层输入和输出维度相同，LeakyReLU(.)是修正线性激活函数，softmax(.)是归一化指数函数，Mask(.)是掩膜函数，该掩膜函数使用公式(2)表示：

Mask(A)＝-inf·(1.0-A) (2)

上式中，A是原始图结构，inf表示足够大的数字；

LeakyReLU(.)函数表示为：

其中，z是LeakyReLU(.)函数的输入向量，z_i是LeakyReLU(.)函数的输入向量的第i个值，a＝0.2是常数；

softmax(.)函数表示为：

上式中，Z是softmax(.)函数的输入向量；Z_j是softmax(.)函数的输入向量的第j个值，K是softmax(.)函数的输入向量的维度；

对向量x做图卷积，获得输出向量dense，公式如下：

上式中，*是图卷积计算，M是骨架节点数，m是图结构中骨架节点的索引；Λ是对角矩阵，该矩阵的值为x是输入的特征向量，W_m是神经网络的权重；

在注意力子模块中，利用向量x学习图卷积分支的权重向量attention，注意力子模块由公式(6)进行表示：

attention＝sigmoid(fc(softmax(fc(Duplicate(AveragePooling(x)))))) (6)

上式中，AveragePooling(.)是全局平均池化，括号由里到外，第一个全连接输出维度为每一帧的骨架点数除以16，第二个全连接输出维度为每一帧的骨架点数，sigmoid(.)是S型激活函数，Duplicate(.)是堆叠函数，表示将输入的特征向量X重复叠加，堆叠函数由公式(7)表示：

上式中，K′表示叠加次数，其取值和每一帧的骨架点数一致，其中X表示输入特征向量x经全局平均池化后得到的向量；

计算带权重的输出向量dense_attention，由公式(8)表示：

上式中，表示向量对应元素相乘，公式(8)中的全连接输入维度和输出维度相同；

使用残差结构对输入特征向量input和dense_attention求和，公式如下：

上式中，表示向量对应元素相加；

将向量output作为带双重注意力的图卷积模块的输出；

再将输出的三个通道合并；

步骤(3)、将步骤(2)中三通道合并后的向量送入时空卷积模块；

步骤(4)、对步骤(3)输出的特征向量使用归一化指数分类器分类，获得动作类别和得分，归一化指数分类器为：

Z′是时空卷积模块输出的特征向量，Z_j′是时空卷积模块输出的特征向量的第j个值，N是时空卷积模块输出的特征向量的维度，经过归一化指数分类器得到的结果与时空卷积模块的输出特征向量的维度相同，选取经归一化指数分类器得到的结果中数值最高的维度作为动作分类的结果，该数值为动作类别相应的得分；

步骤(5)、将人工标注的动作类别作为监督，更新神经网络权重。