[发明专利]基于跨时空图卷积网络的人体骨架行为识别系统及方法

说明书

本发明公开了人体骨架行为识别技术领域的基于跨时空图卷积网络的人体骨架行为识别系统及方法，包括：获取人体骨架序列；将人体骨架序列的输入通道均匀分成多份；基于均分后的多份人体骨架序列沿时间维度向不同的方向进行移位；基于移位后的人体骨架序列输入时空图卷积网络进行卷积运算。本发明将移位卷积以残差连接的形式嵌入原有时空图卷积网络中，构成残差图卷积网络，进一步增强网络对时空特征的提取能力，实现信息的跨时空交流。

技术领域

本发明涉及基于跨时空图卷积网络的人体骨架行为识别系统及方法，属于人体骨架行为识别技术领域。

背景技术

行为识别是计算机视觉中的一个重要的研究领域，但由于基于RGB视频的行为识别数据量大、训练难度大的瓶颈，基于骨架序列的行为识别方法越来越流行，基于人体骨架的行为识别没有噪声干扰，数据简洁，而且近年来硬件的快速发展使得骨架序列获取的更加容易。目前基于人体骨架的行为识别方法多采用空间维度的图卷积网络和时间维度的时间卷积网络交替提取时空特征，但是相同的骨架序列以串联的形式分别进行空间卷积和时间卷积会混入不同域的信息，影响识别效果。近年来，一些方法在二维空间卷积的基础上直接扩展上时间卷积组合成三维时空卷积，虽然在一定程度上增加了时空维度的感受野，实现了跨时空的信息交流，增强了网络对时空特征的提取能力，但是三维时空卷积极大的增加了计算量，加大了网络训练的难度。

发明内容

本发明的目的在于克服现有技术中的不足，提供基于跨时空图卷积网络的人体骨架行为识别系统及方法，能够达到增强网络对时空特征的提取能力的效果。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了基于跨时空图卷积网络的人体骨架行为识别方法，包括：

获取人体骨架序列；

将人体骨架序列的输入通道均匀分成多份；

基于均分后的多份人体骨架序列沿时间维度向不同的方向进行移位；

基于移位后的人体骨架序列输入时空图卷积网络进行卷积运算。

进一步的，所述人体骨架序列的输入通道均匀分为五份，其中每一份人体骨架序列的维度为C/5×T×N，C为通道数，T为帧数，N为关节数。

进一步的，基于分割后的多份人体骨架序列沿时间维度向不同的方向进行移位，包括：

将其中两份人体骨架序列分别沿时间维度向前移动一个时间单位和两个时间单位；

从剩余未移动的人体骨架序列中选择两份人体骨架序列分别沿时间维度向后移动一个时间单位和两个时间单位；

剩余最后一份未移动的人体骨架序列保持不变。

进一步的，基于分割后的多份人体骨架序列沿时间维度向不同的方向进行移位，还包括：

去除超出时间维度范围的序列，以及，对时间维度范围内的空白位置进行补零操作。

第二方面，本发明提供了基于跨时空图卷积网络的人体骨架行为识别系统，包括：

采集模块：用于获取人体骨架序列；

序列均分模块：用于将人体骨架序列的输入通道均匀分成多份；

序列移位模块：用于基于均分后的多份人体骨架序列沿时间维度向不同的方向进行移位；

卷积运算模块：用于基于移位后的人体骨架序列输入时空图卷积网络进行卷积运算。

进一步的，所述人体骨架序列的输入通道均匀分为五份，其中每一份人体骨架序列的维度为C/5×T×N，C为通道数，T为帧数，N为关节数。