[发明专利]一种动作识别方法及装置

权利要求书

1.一种动作识别方法，其特征在于，包括：

获取视频中待识别对象在运动时的骨骼数据；

根据所述骨骼数据生成所述待识别对象的骨骼序列；

生成与所述骨骼序列对应的骨骼特征图像，所述骨骼特征图像中包括若干个骨骼点，利用预设的置换网络对骨骼特征图像中的所有骨骼点进行排序；

将排序后的骨骼特征图像输入至预设卷积神经网络模型进行分类，得到与所述骨骼特征图像对应的动作类别；

其中，生成与所述骨骼序列对应的骨骼特征图像，包括：

将视频中每帧图像中骨骼序列的三维点坐标按照预设顺序排列为三通道数据；

将所述三通道数据按时间顺序排列为三通道矩阵；

将所述三通道矩阵进行归一化处理，得到骨骼特征图像；

其中，将视频中每帧图像中骨骼序列的三维点坐标按照预设顺序排列为三通道数据的过程为：

将中的x维度取值按照事先定义的顺序排列为一个特征向量，得到特征向量f_t的x通道特征向量,其中，,排列顺序O决定了在图像中骨骼点的临近关系，代表第t帧骨骼数据，N代表一帧中骨骼点的数目；

将所述三通道数据按时间顺序排列为三通道矩阵的过程为:

将所有帧的三通道骨骼特征按照时间先后顺序排列为一个三通道的矩阵M，其中，在x通道中，矩阵，M的尺寸为3×T×K，T是视频序列的长度，K是排列顺序O的长度。

2.根据权利要求1所述的方法，其特征在于，将所述三通道矩阵进行归一化处理，得到骨骼特征图像，包括：

所述归一化如下式所示：

其中，为骨骼特征图像第c个通道上位置坐标（i，j）处的像素值；和分别为骨骼特征图像第c个通道上像素的最小值和最大值；round（.）为取整函数。

3.根据权利要求1所述的方法，其特征在于，将排序后的骨骼特征图像输入至预设卷积神经网络模型进行分类，得到与所述骨骼特征图像对应的动作类别，包括：

利用预设卷积神经网络模型提取所述骨骼特征图像的特征；

利用全连接层将所述特征转换为特征向量；

根据所述特征向量确定所述骨骼特征图像的类型，所述类型为所述待识别对象的动作类别。

4.一种动作识别装置，其特征在于，包括：

获取模块，用于获取视频中待识别对象在运动时的骨骼数据；

生成模块，用于根据所述骨骼数据生成所述待识别对象的骨骼序列；

特征图像模块，用于生成与所述骨骼序列对应的骨骼特征图像，所述骨骼特征图像中包括若干个骨骼点，利用预设的置换网络对骨骼特征图像中的所有骨骼点进行排序；

确定模块，用于将排序后的骨骼特征图像输入至预设卷积神经网络模型进行分类，得到与所述骨骼特征图像对应的动作类别；

其中，所述特征图像模块包括：

第一排序子模块，用于将视频中每帧图像中骨骼序列的三维点坐标按照预设顺序排列为三通道数据；

第二排序子模块，用于将所述三通道数据按时间顺序排列为三通道矩阵；

归一化子模块，用于将所述三通道矩阵进行归一化处理，得到骨骼特征图像；

其中，所述第一排序子模块用于：

将中的x维度取值按照事先定义的顺序排列为一个特征向量，得到特征向量f_t的x通道特征向量，其中，，排列顺序O决定了在图像中骨骼点的临近关系，代表第t帧骨骼数据，N代表一帧中骨骼点的数目；

所述第二排序子模块用于:

将所有帧的三通道骨骼特征按照时间先后顺序排列为一个三通道的矩阵M，其中，在x通道中，矩阵，M的尺寸为3×T×K，T是视频序列的长度，K是排列顺序O的长度。

5.根据权利要求4所述的装置，其特征在于，所述归一化子模块，用于，

所述归一化如下式所示：

其中，为骨骼特征图像第c个通道上位置坐标（i，j）处的像素值；和分别为骨骼特征图像第c个通道上像素的最小值和最大值；round（.）为取整函数。

6.根据权利要求4所述的装置，其特征在于，所述确定模块包括：

提取子模块，用于利用预设卷积神经网络模型提取所述骨骼特征图像的特征；

转换子模块，用于利用全连接层将所述特征转换为特征向量；

确定子模块，用于根据所述特征向量确定所述骨骼特征图像的类型，所述类型为所述待识别对象的动作类别。