[发明专利]一种基于时空关系的骨架行为识别方法

权利要求书

1.一种基于时空关系的骨架行为识别方法，其特征在于：方法包括：

获取人体骨架数据，并将整体骨架进行部位的划分，将整体人体骨架数据表示为矩阵的形式并进行骨架序列分段处理，将各部位人体骨架数据进行处理分别得到各部位对应的各个时间段的关系矩阵；

将各部位人体骨架数据进行处理分别得到各部位对应的各个时间段的关系矩阵的方法为：

将各部位人体骨架数据进行人体关节节点位置数据获取，将各部位人体骨架的关节节点位置数据存储到n₁x3的二维矩阵中，并对二维矩阵进行标准化处理；

对各部位人体骨架选取该部位中某个关节点作为该部位的关键节点，将该部位人体骨架中所有关节节点与其关键节点的位置求差值，将得到的差值存储到二维矩阵中；

将二维矩阵按照时间顺序组合为三维矩阵，将该三维矩阵作为该部位对应的各个时间段的关系矩阵；

分别将骨架序列分段处理后的整体人体骨架矩阵数据和各部位各个时间段的人体骨架关系矩阵数据作为卷积神经网络的输入，分别提取得到整体人体骨架和各部位人体骨架各个时间段上的行为特征；

分别将整体人体骨架和各部位人体骨架各个时间段上的行为特征按照时间顺序依次作为长短时记忆网络不同时刻的输入，分别得到整体人体骨架和各部位人体骨架包含整个时间段的时空特征；

将所有整体人体骨架和各部位人体骨架的时空特征进行融合后通过分类器进行行为结果识别。

2.根据权利要求1所述的一种基于时空关系的骨架行为识别方法,其特征在于：所述方法还包括卷积神经网络、长短时记忆网络和分类器的训练步骤。

3.根据权利要求1所述的一种基于时空关系的骨架行为识别方法,其特征在于：所述将整体人体骨架数据表示为矩阵的形式并进行序列分段处理的具体方法为：

将整体人体骨架数据进行人体关节节点位置数据获取，并将人体关节节点位置数据表示为三维矩阵形式；

将人体关节节点位置的三维矩阵数据进行标准化处理，然后对数据进行骨架序列分段处理，得到n个三维矩阵数据。

4.根据权利要求3所述的一种基于时空关系的骨架行为识别方法,其特征在于：所述对数据进行骨架序列分段处理，得到n个三维矩阵数据的方法为：

将骨架序列均分为n小段具有连续时刻的骨架序列，每小段包含k帧连续的骨架序列；

将每小段骨架序列的人体关节节点位置数据合并成k*3*t的三维矩阵数据，得到n个k*3*t的三维矩阵数据。

5.根据权利要求1所述的一种基于时空关系的骨架行为识别方法，其特征在于：所述将二维矩阵按照时间顺序组合为三维矩阵的方法为：

将各部位人体骨架分别进行骨架序列分段处理，分为n小段具有连续时刻的骨架序列，每小段包含t帧连续的骨架序列，每帧骨架包含k个骨架关节点；

将每小段骨架序列的关节节点与其关键节点位置差值数据合并成k*3*t的三维矩阵数据，得到n个k*3*t的三维矩阵数据。

6.根据权利要求1所述的一种基于时空关系的骨架行为识别方法,其特征在于：所述将所有整体人体骨架和各部位人体骨架的时空特征进行融合的方法为：

将得到的所有整体人体骨架和各部位人体骨架的时空特征分别进行神经网络的全连接操作，设置全连接层的结点个数为要判定的行为类别数；

将经过全连接操作的时空特征进行相加，得到融合后的时空特征。

7.根据权利要求1所述的一种基于时空关系的骨架行为识别方法，其特征在于：所述获取人体骨架数据时，每个动作提取连续的50帧骨架序列数据。