[发明专利]基于跳接注意力机制的人体动作预测方法

权利要求书

1.一种基于跳接注意力机制的人体动作预测方法，其特征在于，包括以下步骤：

步骤1、输入一段人体骨骼点坐标序列，对其进行归一化处理，得到处理后的一段人体骨骼点坐标序列；

步骤2、将每一帧的人体骨骼点坐标输入到由多层的自更新卷积门控循环网络组成的编码器中，提取得到人体骨骼点序列的分层特征；

步骤3、将最后一个时间步的门控循环网络提取的分层特征聚合得到人体动作的长期语义向量；

步骤4、将编码器提取的分层特征和前一帧人体骨骼点输入到解码器得到分层特征；

步骤5、使用跳接注意力机制根据编码器的人体动作长期语义向量来计算解码器每一层特征的权重，以此来调整分层特征的重要性；

步骤6、将调整后的分层特征和人体动作长期语义向量连接成新的特征，新特征经过卷积神经网络生成待预测的人体骨骼点帧与前一帧的变化量；

步骤7、将骨骼点变化量与解码器的输入帧相加，再进行归一化数据的还原，得到最终的人体动作骨骼点的预测值；

步骤7具体包括如下步骤：

将最后一个时间步t人体骨骼点变化量和最后一个时间步t解码器的输入人体骨骼点坐标y_t相加得到预测的时间步t+1的人体骨骼点坐标y_t+1：

最后将预测的时间步t+1的人体骨骼点y_t+1进行归一化数据的还原，最终得到时间步t+1的人体动作骨骼点的预测值。

2.根据权利要求1所述的基于跳接注意力机制的人体动作预测方法，其特征在于，步骤5具体包括如下步骤：

步骤501、解码器每一层特征的权重的计算是依靠人体动作长期语义向量的，给定时间步t第n层的特征，分数计算公式如下：

其中W_f是权重矩阵，b_f是偏置向量，C表示人体动作的长期语义向量；

步骤502、分数代表解码器各层特征的重要性，使用Softmax函数来归一化分数：

最后表示解码器各层调整后的特征。

3.根据权利要求2所述的基于跳接注意力机制的人体动作预测方法，其特征在于，步骤6具体包括如下步骤：

将解码器调整后的时间步t的特征和人体动作长期语义向量连接，经过卷积操作生成人体骨骼点的变化量：

。