[发明专利]基于多流LSTM的动作识别方法

权利要求书

1.基于多流LSTM的动作识别方法，其特征在于：包括以下步骤：

步骤1：利用深度相机对人体骨架关节点的坐标数据进行采集，得到由所述关节点表示的动作序列；

步骤2：对所述动作序列进行视角预处理，并利用特征提取模型A对视角预处理结果进行特征提取；

步骤3：对所述动作序列进行动态属性萃取，并利用特征提取模型B对动态属性萃取结果进行特征提取；

步骤4：利用特征提取模型C分别对所述视角预处理结果和动态属性萃取结果进行特征提取，并对提取的特征进行特征融合；

步骤5：分别利用所述步骤2和步骤3提取的特征以及步骤4中融合的特征进行动作识别；

步骤6：对所述步骤5得到的识别结果进行决策融合，最终得到动作的识别结果；

所述步骤2具体为：

S201：利用人体骨架关节点的坐标数据得到旋转矩阵，所述旋转矩阵公式如下：

R^c'^→h(t)＝[s₁ s₂ s₃]^T (1),

其中，

s₃＝s₁×s₂ (3)；

t表示时间变量，h表示人体骨架坐标系，c表示相机坐标系，c'表示中间坐标系，表示以相机坐标系为基准的人体左肩在t时刻的3D坐标，表示以相机坐标系为基准的人体右肩在t时刻的3D坐标，表示以相机坐标系为基准的人体躯心在t时刻的3D坐标；

S202：计算每个关节点的3D坐标获得视角预处理结果，

其中，k表示人体关节点的序号，表示以骨架坐标系为基准的人体第k个关节点在时间t的3D坐标，表示以相机坐标系为基准的人体关节点k在t时刻的3D坐标；

S203：利用特征提取模型A提取步骤S202中视角预处理结果的特征；

所述步骤3具体为：

S301：对所述动作序列进行动态属性萃取，动态属性萃取为追踪每个关节点在两个固定时间间隔d间的位置变化信息，获得萃取结果f(t+d)-f(t) (6)，其中，d表示固定时间间隔，f(t)表示在t时刻人体关节点的3D坐标；

S302：利用特征提取模型B提取步骤S301中动态属性萃取结果的特征。

2.根据权利要求1所述的基于多流LSTM的动作识别方法，其特征在于：所述特征提取模型A、特征提取模型B、特征提取模型C的获取方法如下：

S001：利用深度相机采集人体骨架关节点的坐标数据，得到训练样本；

S002：对所述训练样本进行视角预处理，以视角预处理结果为输入，构建三层LSTM网络，并对所述三层LSTM网络进行训练，得到特征提取模型A；

S003：对所述训练样本进行动态属性萃取，以动态属性萃取结果为输入，构建三层LSTM网络，并对所述三层LSTM网络进行训练，得到特征提取模型B；

S004：以视角预处理结果为输入，构建三层LSTM网络；以动态属性萃取结果为输入，构建三层LSTM网络；构建融合该步骤中两个三层LSTM网络输出特征的特征融合框架；对该步骤中的两个三层LSTM网络和特征融合框架进行联合训练，得到特征提取模型C。

3.根据权利要求1所述的基于多流LSTM的动作识别方法，其特征在于：所述步骤4的具体内容如下：

S401：利用特征模型C分别对步骤2的视角预处理结果和步骤3的动态属性萃取结果进行特征提取；

S402：对步骤S401提取的特征进行特征融合，特征融合采用的公式如下：

其中，L代表融合输出的特征数量，或表示加成权重，M×L表示加成权重α的大小，N×L表示加成权重β的大小，a_m和b_n分别表示需要融合的两类特征，m∈(1,M)，n∈(1,N)分别表示需要融合的两类特征的维度，C_L表示特征融合后得到的特征。

4.根据权利要求1所述的基于多流LSTM的动作识别方法，其特征在于：所述步骤5中动作识别具体为：将步骤2提取的特征、步骤3提取的特征和步骤4融合的特征分别依次输入各自的全连接层和softmax进行动作识别。

5.根据权利要求1所述的基于多流LSTM的动作识别方法，其特征在于：所述步骤6中决策融合具体为：将所述步骤5得到的3个识别结果进行连乘，连乘结果所代表的类型就是最终动作识别的结果。