[发明专利]基于无监督学习的人体骨架序列行为识别方法

权利要求书

1.一种基于无监督学习的人体骨架序列行为识别方法，其特征在于，该方法包括以下步骤：

步骤S10，获取一组待识别的人体骨架序列，作为输入序列集合；

步骤S20，从所述输入序列集合的各人体骨架序列中按时间顺序随机间隔抽取子序列并进行预处理，将预处理后的子序列作为第一子序列；将所述输入序列集合的各人体骨架序列中第一子序列与其他子序列组合，作为子序列正样本对；将所述输入序列集合中的各人体骨架序列中第一子序列与其他人体骨架序列中的子序列组合，作为子序列负样本对；

步骤S30，提取所述子序列正、负样本对中各子序列对应的骨架节点的位置坐标序列、速度坐标序列，并构建位置坐标序列正负样本对、速度坐标序列正负样本对；

步骤S40，通过预训练的第一编码器提取位置坐标序列正负样本对中各位置坐标序列的特征向量；通过预训练的第二编码器提取速度坐标序列正负样本对中各速度坐标序列的特征向量；

步骤S50，对所述输入序列集合中的各子序列，串联其对应的位置坐标序列特征向量、速度坐标序列特征向量，得到其最终特征表示；

步骤S60，基于所述最终特征表示，通过预训练的分类器得到所述一组待识别的人体骨架序列所属的行为类别；

所述第一编码器、所述第二编码器基于多层神经网络构建；

所述第一编码器、所述第二编码器其训练方法为：

步骤A10，获取训练样本数据集，并随机选取一组人体骨架序列，作为第一序列集；所述训练样本数据集为无标签的人体骨架序列数据集；

步骤A20，从所述第一序列集中的各人体骨架序列中按时间顺序随机间隔的抽取子序列并进行预处理，将预处理后的子序列作为第一子序列；将所述第一序列集的各人体骨架序列中第一子序列与其他子序列组合，作为子序列正样本对；将所述第一序列集中的各人体骨架序列中第一子序列与其他人体骨架序列中的子序列组合，作为子序列负样本对；

所述预处理包括随机旋转、缩放；

随机旋转，其方法为：

缩放，其方法为：

其中，[x,y,z]为原始坐标，[x′，y′，z′]为随机旋转后的坐标，[x″，y″，z″]为缩放后的坐标，θ～uniform(-60，60)，s～uniform(0.5，1.5)；

步骤A30，提取所述子序列正、负样本对中各子序列对应的骨架节点的位置坐标序列、速度坐标序列，构建位置坐标序列正负样本对、速度坐标序列正负样本对；

步骤A40，通过所述第一编码器提取位置坐标序列正负样本对中各位置坐标序列的特征向量；基于所述位置坐标序列的特征向量，计算位置坐标序列正负样本对之间的相似度，作为第一相似度；

步骤A50，通过所述第二编码器提取速度坐标序列正负样本对中各速度坐标序列的特征向量；基于所述速度坐标序列的特征向量，计算速度坐标序列正负样本对之间的相似度，作为第二相似度；

步骤A60，基于所述第一相似度、所述第二相似度，分别通过预构建的对比损失函数获取对应的对比损失值；

步骤A70，串联所述第一序列集中各人体骨架序列的子序列对应的位置坐标序列的特征向量、速度坐标序列的特征向量，得到各子序列对应的最终特征表示；

步骤A80，基于所述最终特征表示，通过预构建的解码器得到重构后的子序列；基于重构后的子序列与其对应的原始子序列，通过预构建的重构损失函数获取重构损失；所述解码器基于多层神经网络构建；

步骤A90，基于所述重构损失、所述对比损失，对第一编码器、第二编码器、解码器进行网络参数更新；更新后，循环步骤A10-步骤A80，直至得到训练好的第一编码器、第二编码器；

其中，所述重构损失函数，其计算方法为：

其中，L_rec表示重构损失值，h_i表示最终特征表示，x_i表示重构后的子序列对应的原始子序列，D(.)表示解码器，D(h_i)表示重构后的子序列。

2.根据权利要求1所述的基于无监督学习的人体骨架序列行为识别方法，其特征在于，所述样本对之间的相似度，计算方法为：

其中，sim(x，y)表示样本对之间的相似度，n表示特征维度，i表示下标，x，y表示样本对的特征向量。