[发明专利]一种基于骨架特征和深度学习的人体动作识别方法

权利要求书

1.一种基于骨架特征和深度学习的人体动作识别方法，其特征在于，包括如下步骤：

步骤1，对深度相机采集的待训练和待识别人体骨架序列进行预处理，获得相应的训练数据和待识别数据；

步骤2，多流神经网络模型训练，包括如下子步骤，

步骤2.1，对步骤1得到的训练数据进行增强；

步骤2.2，利用增强后的训练数据生成多个低维特征，所述多个低维特征分别为骨架的空间维信息，时间维信息和结构维信息；

步骤2.3，设计多流神经网络，并将多个低维特征作为输入对多流神经网络进行训练，获得训练数据对应的动作识别结果；

步骤2.3所述多流神经网络中的每一网络流包括时序卷积网络模块和分类器模块，具体结构如下，

所述时序卷积网络模块包括若干个一维卷积模块和池化层，其中卷积模块由一个卷积层，一个激活函数和一个批标准化层构成；

所述分类器模块包括一个二维卷积层，一个激活函数层，一个批标准化层和一个映射到动作类别的一维卷积层，以及最后的全局池化；

步骤2.3中获得训练数据对应的动作识别结果的具体实现方式如下，

步骤2.3.1，对于步骤2.2计算得到的多个低维特征，首先对每一流低维特征进行维度变化操作，再输入到时序卷积模块上，提取高维时序特征，再进行维度变化操作，然后利用若干个二维卷积模块对时间维度和原特征维度进行计算，实现骨架的全局特征学习；

步骤2.3.2，利用晚融合和特征连接的融合策略对多个高维特征进行融合，将原始各流的高维特征和融合后特征分别输入到分类器模块中，得到原始各流的预测结果和融合后预测结果，最后对各流预测结果和融合后预测结果进行一次平均得到最终的动作识别结果；

步骤3，人体动作预测：将步骤1中得到的待识别数据输入到步骤2中经过训练学习后的多流神经网络模型中，输出各骨架序列的动作预测结果。

2.如权利要求1所述的一种基于骨架特征和深度学习的人体动作识别方法，其特征在于：步骤1中对深度相机采集的待训练和待识别人体骨架序列进行预处理的具体实现方式如下，

对于整体待训练和待识别人体骨架序列数据，分别创建一个大小为(N,C,T_max,P,M)的高维矩阵，其中N为骨架序列个数，T_max为骨架序列长度最大值，C为骨架特征数，为一个三维的空间坐标，P为该深度相机采集的骨架关节点数目，M为在该序列中出现的最大人数，然后将骨架序列数据中的空间坐标特征输入到该高维矩阵中，不存在的数据用0补齐，得到训练数据和待识别数据，并按照文件名和数据长度，同时记录训练数据对应的标签和各序列对应的序列长度。

3.如权利要求2所述的一种基于骨架特征和深度学习的人体动作识别方法，其特征在于：步骤2.1中对训练数据进行增强的具体实现方式如下，

根据骨架序列长度数据截取该序列中的有效数据，再按照一个随机的百分比去掉该数据的头尾部分序列，然后对该序列进行一个从当前序列长度到网络窗口大小的下采样操作，实现训练数据的数据增强和标准化，其中网络窗口大小由用户自定义。

4.如权利要求2或3所述的一种基于骨架特征和深度学习的人体动作识别方法，其特征在于：步骤2.2中所述低维特征的具体计算方法如下，

骨架的空间维信息计算如下：

其中V为骨架节点集，即骨架关节点数目，T表示时间节点集，f_t^spa(i)表示第i个节点的第t个空间维特征，是第i个节点在时间t时的空间坐标；

时间维信息在骨架数据中视其为在相邻帧之间的差分计算，具体如下式表示：

其中f_t^opt(i)表示第i个节点的第t个时间维特征；

结构维信息的具体表示如下：

其中A为骨架的邻接矩阵的一维表示，f_t^adj(i)表示第i个节点的第t个结构维特征。

5.如权利要求1所述的一种基于骨架特征和深度学习的人体动作识别方法，其特征在于：步骤2.3.2中原始各流的预测结果通过最小化以下损失函数获得，

多流神经网络中每个网络流独立的完成一个特征预测，并与真实标签求交叉熵损失函数，后馈调整网络参数，损失函数具体计算方法如下：

其中，x为网络流的输出预测结果，c为输入数据的标签，C表示最大类别数。