[发明专利]一种用于增强深度相机检测肢体运动参数的方法

权利要求书

1.一种用于增强深度相机检测肢体运动参数的方法，其特征在于，该方法包括以下步骤：

S1：利用深度相机采集人体的肢体运动数据；

S2：当检测到采集的人体肢体运动数据出现某一时刻后的所有标志点缺失现象，即数据量不足，利用训练好的带有注意力机制的神经网络对缺失的数据进行预测重构，得到完整骨骼三维坐标数据；

当检测到采集的人体肢体运动数据出现某一时刻后的所有标志点缺失现象时，训练带有注意力机制的神经网络的具体步骤为：

S201：利用三维运动捕捉系统，将采集的一组完整的被试者自由运动情况下骨骼关节点三维坐标数据进行校准，然后去除掉k帧之后的数据即某一时刻后的数据，将缺失的数据作为输入，输入神经网络中，k值由实验人员自行选择；

S202：将完整的骨骼关节点三维坐标数据作为模型的期望输出，将神经网络的输出与期望输出作比较，经过多次迭代，神经网络内部对输入输出形成一个映射关系；

S203：当输入输出达成一个合适的映射关系时，神经网络训练完成，然后将测试数据输入神经网络进行预测重构；

当检测到采集的人体肢体运动数据出现某一时刻的部分标志点缺失现象，即某些时刻个别骨骼关节点三维坐标数据缺失，利用训练好的带有注意力机制的神经网络对缺失的数据点进行补全，最终得到完整骨骼三维坐标数据；

当检测到采集的人体肢体运动数据出现某一时刻的部分标志点缺失现象时，训练带有注意力机制的神经网络，具体包括以下步骤：

S211：利用三维运动捕捉系统，将采集的一组完整的被试者自由运动情况下骨骼关节点三维坐标数据进行校准，将完整的数据中扣除几个标志点的数据，将某一时刻的部分标志点缺失的数据作为输入，输入神经网络中；

S212：将包含完整信息的数据作为神经网络的期望输出，将神经网络的输出与期望输出作比较，经过多次迭代，神经网络内部对输入输出形成一个映射关系；

S213：当输入输出形成一个合适的映射关系时，神经网络训练完成，然后将测试数据输入神经网络对某一时刻的部分标志点缺失进行补全。

2.根据权利要求1所述的用于增强深度相机检测肢体运动参数的方法，其特征在于，所述步骤S1具体包括：利用深度相机实时采集被试者自由运动过程中骨骼关节点三维坐标数据，并将深度相机采集到的骨骼关节点三维坐标数据保存为文件。

3.根据权利要求1所述的用于增强深度相机检测肢体运动参数的方法，其特征在于，步骤S203中，所述测试数据是在数据采集过程中出现了某一时刻后的所有标志点缺失情况的数据。

4.根据权利要求1所述的用于增强深度相机检测肢体运动参数的方法，其特征在于，步骤S213中，所述测试数据是在数据采集过程中出现了某一时刻的部分标志点缺失现象的数据。

5.根据权利要求1所述的用于增强深度相机检测肢体运动参数的方法，其特征在于，所述神经网络包括：给隐藏层的每个节点的连接的权重分配一个正确的数值；当给定一个输入向量，根据权重决定输出的向量；在初始阶段，所有权重都是随机分配的；对于训练集的每个输入值，经过神经网络的前向计算后，得到的输出值会与期望的输出值进行比较，然后得到的误差会传回给前面的网络层，即反向传播算法；然后权重根据这个误差进行相应的调整；神经网络需要反复迭代，直到输出的误差低于一个设定好的阈值。

6.根据权利要求1所述的用于增强深度相机检测肢体运动参数的方法，其特征在于，所述带有注意力机制的神经网络包括：编码组件和解码组件以及它们之间的连接组成；编码组件由一堆编码器构成，解码组件由相同数量的解码器构成；首先在最底层的编码器中将输入的每一帧坐标序列转换为一个向量，随后这个向量将通过每个编码器的自注意力和前馈神经网络，自注意力关注整个输入序列的每一帧的三维坐标，帮助网络对本序列更好地进行编码，前馈神经网络的目标是拟合一个函数，最后利用求和归一化减少前馈神经网络的训练时间；通过所有的编码器后会输出一个注意力向量集到解码器中，经过所有的解码器后会生成一个实数向量，经过线性变换层和柔性最大值传输函数，转换为三维骨骼关节点序列输出。