[发明专利]基于无监督学习的人体骨架序列行为识别方法

说明书

本发明属于计算机视觉、模式识别和神经网络技术领域，具体涉及一种基于无监督学习的人体骨架序列行为识别方法，旨在解决现有行为识别方法在标注数据较少时，训练困难以及识别精度较低的问题。本系统方法包括获取一组待识别的人体骨架序列；组合子序列正、负样本对；提取子序列正、负样本对中各子序列对应的骨架节点的位置坐标序列、速度坐标序列，并对应的正负样本对；提取各位置坐标序列的特征向量、各速度坐标序列的特征向量；串联各子序列的位置坐标序列特征向量、速度坐标序列特征向量；通过分类器得到待识别的人体骨架序列所属的行为类别。本发明简化了训练的难度，并能在少量标记样本的监督下实现较高精度的行为识别。

技术领域

本发明属于计算机视觉、模式识别和神经网络技术领域，具体涉及一种基于无监督学习的人体骨架序列行为识别方法、系统、装置。

背景技术

随着人工智能技术的发展，智能机器人，如谷歌的无人驾驶汽车、百度的无人驾驶自行车等，即将走入人们生活，以及智慧城市、智能交通及智能监控领域等，这些都需要计算机对人的行为进行自动分析。近年来，深度摄像技术结合高精度的人体骨架估计算法，可以提供人体运动过程对应的骨架运动信息，基于骨架运动序列可以进行精确的行为识别。

早期基于骨架节点的行为识别算法主要是在手工特征提取基础上设计分类器来实现行为识别，运动动态信息的手工提取非常麻烦，不利于实际应用。而且，传统方法训练及测试多是在小数据集上进行，当数据量增大时，其整体计算复杂度对于一般的硬件条件将难以承受，难以发挥基于骨架的行为识别在实际应用中的价值。随着深度神经网络的发展，以及大规模行为数据库的出现，越来越多的深度行为识别算法被提出来。为了充分建模人体骨架的分层、分块物理特性，2015年出现一种基于分层递归神经网络的行为识别算法，为了更好地对人体骨架的空间结构建模，2018年出现了基于图神经网络的行为识别算法，考虑到目前大部分模型中时间动态和空间结构信息都是分离建模，2019年出现了基于递归图卷积神经网络的行为识别算法，在多个数据集上取得了当前最好结果。现有大多数模型都是在监督学习设置下取得了较好结果，这需要大量标记节点进行训练，然而实际应用场景中，很难获取大量标记的人体骨架序列数据，亟需提出无监督的行为识别方法。基于此，我们基于对比学习和重构思想提出了基于无监督学习的人体骨架序列行为识别方法。

发明内容

为了解决现有技术中的上述问题，即为了解决现有行为识别方法需要大量的标记的人体骨架序列数据，在标注数据较少时，造成训练困难以及识别精度较低的问题，本发明第一方面，提出了一种基于无监督学习的人体骨架序列行为识别方法，该方法包括：

步骤S10，获取一组待识别的人体骨架序列，作为输入序列集合；

步骤S20，从所述输入序列集合的各人体骨架序列中按时间顺序随机间隔抽取子序列并进行预处理，将预处理后的子序列作为第一子序列；将所述输入序列集合的各人体骨架序列中第一子序列与其他子序列组合，作为子序列正样本对；将所述输入序列集合中的各人体骨架序列中第一子序列与其他人体骨架序列中的子序列组合，作为子序列负样本对；

步骤S30，提取所述子序列正、负样本对中各子序列对应的骨架节点的位置坐标序列、速度坐标序列，并构建位置坐标序列正负样本对、速度坐标序列正负样本对；

步骤S40，通过预训练的第一编码器提取位置坐标序列正负样本对中各位置坐标序列的特征向量；通过预训练的第二编码器提取速度坐标序列正负样本对中各速度坐标序列的特征向量；

步骤S50，对所述输入序列集合中的各子序列，串联其对应的位置坐标序列特征向量、速度坐标序列特征向量，得到其最终特征表示；

步骤S60，基于所述最终特征表示，通过预训练的分类器得到所述一组待识别的人体骨架序列所属的行为类别；

所述第一编码器、所述第二编码器基于多层神经网络构建。

在一些优选的实施方式中，所述第一编码器、所述第二编码器其训练方法为：