[发明专利]稀疏IMU实时人体动作捕捉及关节受力预测方法及系统

权利要求书

1.一种稀疏IMU实时人体动作捕捉及关节受力预测方法，其特征在于，包括以下步骤：

采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部处的惯性传感器测量的惯性数据；

根据所述惯性数据得到骨骼在人体坐标系中的骨骼朝向和加速度，并将所述骨骼朝向和加速度输入至预设的人体运动学模型，预测人体姿态、运动、以及人-地接触信息；以及

将所述人体姿态、运动、以及人-地接触信息输入至预设的人体动力学模型，预测人体姿态、运动、关节受力和地面作用力；

其中，所述将所述人体姿态、运动、以及人-地接触信息输入至预设的人体动力学模型，预测人体姿态、运动、关节受力和地面作用力，包括：利用双重PD控制器得到最优的目标加速度；在预设二次规划框架下，基于刚体力学和真实世界物理规律优化出所述人体姿态、运动、关节受力和地面作用力；

所述预设二次规划框架以硬约束建模了人-地接触和人体动力学，其数学表达式为：

其中，为根节点线性加速度和关节角加速度，为作用于人-地接触点的地面接触力，为人体关节力矩，为人-地接触点雅可比矩阵，c为人-地接触点，为双重PD控制器能量项，为优化正则项，M为人体惯性矩阵，h为包括科里奥利力、离心力和重力等项的非线性项，为地面接触力的摩擦锥约束集，为人-地接触关节的线速度，j为人体触地关节，为触地关节的线速度约束集；

所述将所述骨骼朝向和加速度输入至预设的人体运动学模型，预测人体姿态、运动、以及人-地接触信息，包括：以骨骼惯性值作为输入，通过第一循环神经网络预测末端关节相对于根节点的第一三维坐标；拼接上所述惯性值，并通过第二循环神经网络预测全部关节相对于根节点的第二三维坐标；拼接所述骨骼惯性值和所述第二三维坐标，并通过第三至第五循环神经网络分别预测人体关节旋转、全部关节在根节点坐标系下的线速度、脚-地接触概率。

2.根据权利要求1所述的方法，其特征在于，在根据所述惯性数据得到所述骨骼在所述人体坐标系中的朝向和加速度之前，还包括：

基于被捕捉者维持T-pose预设时长，计算IMU朝向和骨骼朝向的偏差，得到校准偏差矩阵。

3.根据权利要求1所述的方法，其特征在于，循环神经网络为LSTM网络，在预测所述人体姿态、运动、以及人-地接触信息之前，还包括：

将每段训练序列的开始姿态通过全连接网络，预测隐藏状态向量；

将所述隐藏状态向量作为LSTM训练的初始隐藏状态。

4.根据权利要求1所述的方法，其特征在于，所述双重PD控制器为控制人体局部姿态的关节旋转PD控制器和控制人体全局姿态的关节位置PD控制器。