[发明专利]基于跳接注意力机制的人体动作预测方法

说明书

本发明公开了一种基于跳接注意力机制的人体动作预测方法，包括：将归一化的每一帧的人体骨骼点坐标输入到由多层的自更新卷积门控循环网络组成的编码器中，提取人体骨骼点序列的分层特征；将编码器最后一个时间步提取的分层特征聚合得到人体动作的长期语义向量；将编码器最后一个时间步的各层隐藏变量作为解码器的初始隐藏变量，使用跳接注意力机制根据编码器的人体动作长期语义向量计算解码器每一层特征的权重；将调整后的分层特征和人体动作长期语义向量连接成新的特征，经过卷积神经网络生成待预测的人体骨骼点帧与前一帧的变化量，与输入骨骼点相加，再进行归一化数据还原，得到人体动作骨骼点的预测值。本方法可有效预测人体动作，准确率高。

技术领域

本发明涉及人体动作预测技术，特别是一种基于跳接注意力机制的人体动作预测方法。

背景技术

人体动作预测是根据观测到的人体动作序列，自动预测未来的动作序列，可以应用于大多数的人机交互系统。人体动作预测有着广阔的应用场景：对工业自动化及自动驾驶技术有补充作用、对智能机器人和人类交互有重要作用。

人体动作预测吸引了越来越多的研究者的关注，其主要挑战在于早期的人类动作预测任务很少以人类行为为目标；长期人体动作预测结果趋向于恒定动作；对于非周期性动作预测效果较差。

发明内容

本发明的目的在于提供一种基于跳接注意力机制的人体动作预测方法，该方法对周期性和非周期性的人体动作均具有较好的长期预测效果。

实现本发明目的的技术方案为：一种基于跳接注意力机制的人体动作预测方法，包括以下步骤：

步骤1、输入一段人体骨骼点坐标序列，对其进行归一化处理，得到处理后的一段人体骨骼点坐标序列；

步骤2、将每一帧的人体骨骼点坐标输入到由多层的自更新卷积门控循环网络组成的编码器中，提取得到人体骨骼点序列的分层特征；

步骤3、将最后一个时间步的门控循环网络提取的分层特征聚合得到人体动作的长期语义向量；

步骤4、将编码器提取的分层特征和前一帧人体骨骼点输入到解码器得到分层特征；

步骤5、使用跳接注意力机制根据编码器的人体动作长期语义向量来计算解码器每一层特征的权重，以此来调整分层特征的重要性；

步骤6、将调整后的分层特征和人体动作长期语义向量连接成新的特征，新特征经过卷积神经网络生成待预测的人体骨骼点帧与前一帧的变化量；

步骤7、将骨骼点变化量与解码器的输入帧相加，再进行归一化数据的还原，得到最终的人体动作骨骼点的预测值。

与现有技术相比，本发明的显著优点为；(1)本方法基于跳接注意力机制，可有效预测人体动作，预测准确率高；(2)对周期性和非周期性的人体动作均具有较好的长期预测效果。

附图说明

图1是本发明的基于跳接注意力机制的人体动作预测方法流程图。

图2是基于跳接注意力机制的人体动作预测方法效果图。

具体实施方式

下面结合附图对本发明进行进一步详细的说明：

如图1所示，一种基于跳接注意力机制的人体动作预测方法，包括提取人体骨骼点序列分层特征、提取长期语义向量、计算解码器分层特征的权重、生成骨骼点变化量四个过程。

提取人体骨骼点序列分层特征：将归一化的每一帧的人体骨骼点坐标输入到由多层的自更新卷积门控循环网络组成的编码器中，提取得到人体骨骼点序列的分层特征；

提取长期语义向量：将编码器最后一个时间步提取的分层特征聚合得到人体动作的长期语义向量；