[发明专利]稀疏IMU实时人体动作捕捉方法、装置及设备

权利要求书

1.一种稀疏IMU实时人体动作捕捉方法，其特征在于，包括以下步骤：

采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部处的惯性传感器检测的惯性数据；

根据所述惯性数据得到骨骼在人体本地坐标系中的骨骼朝向和加速度，并将所述骨骼朝向和加速度对齐到根节点坐标系下；

将对齐后的骨骼朝向和加速度代入预设的反向动力学的多阶段姿态求解器，分阶段预测人体的末端关节坐标、全部关节坐标，求解人体姿态；

将所述对齐后的骨骼朝向和加速度及所述末端关节坐标、所述全部关节坐标和所述人体姿态代入预设的多分支运动求解器，求解人体运动；以及

基于所述人体姿态和所述人体运动得到实时人体动作捕捉结果。

2.根据权利要求1所述的方法，其特征在于，在根据所述惯性数据得到所述骨骼在所述人体本地坐标系中的骨骼朝向和加速度之前，还包括：

基于被捕捉者维持预设T姿态预设时长，标定IMU摆放方向与对应的人体骨骼方向之间的偏差，得到每个传感器与骨骼之间的偏差量。

3.根据权利要求1所述的方法，其特征在于，所述将对齐后的骨骼朝向和加速度代入预设的反向动力学的多阶段姿态求解器，分阶段预测人体的末端关节坐标、全部关节坐标，求解人体姿态，包括：

基于由所述惯性数据得到的拼接向量，利用第一双向循环神经网络从当前帧的输入向量估计人体的末端关节相对于根节点的坐标；

将拼接的所述末端关节相对于根节点的坐标和所述拼接向量输入至第二双向循环神经网络，估计人体全部关节相对于根节点的坐标；

基于拼接的所述人体全部关节相对于根节点的坐标和所述拼接向量，利用第三双向循环神经网络求解反向动力学问题，求解所述人体姿态。

4.根据权利要求3所述的方法，其特征在于，所述采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部处的惯性传感器检测的惯性数据，包括：

截取M个历史帧和N个未来帧，使用当前窗口的惯性传感器的测量值数据得到所述惯性数据。

5.根据权利要求3所述的方法，其特征在于，所述将所述对齐后的骨骼朝向和加速度及所述末端关节坐标、所述全部关节坐标和所述人体姿态代入预设的多分支运动求解器，求解人体运动，包括：

以所述骨骼朝向和加速度及所述末端关节相对于根节点的坐标和所述全部关节相对于根节点的坐标为输入，并行求解根节点在世界中的运动速度。

6.一种稀疏IMU实时人体动作捕捉装置，其特征在于，包括：

采集模块，用于采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部处的惯性传感器检测的惯性数据；

获取模块，用于根据所述惯性数据得到骨骼在人体本地坐标系中的骨骼朝向和加速度，并将所述骨骼朝向和加速度对齐到根节点坐标系下；

第一计算模块，用于将对齐后的骨骼朝向和加速度代入预设的反向动力学的多阶段姿态求解器，分阶段预测人体的末端关节坐标、全部关节坐标，求解人体姿态；

第二计算模块，用于将所述对齐后的骨骼朝向和加速度及所述末端关节坐标、所述全部关节坐标和所述人体姿态代入预设的多分支运动求解器，求解人体运动；以及

捕捉模块，用于基于所述人体姿态和所述人体运动得到实时人体动作捕捉结果。

7.根据权利要求6所述的装置，其特征在于，在根据所述惯性数据得到所述骨骼在所述人体本地坐标系中的骨骼朝向和加速度之前，所述获取模块，还用于：

基于被捕捉者维持预设T姿态预设时长，标定IMU摆放方向与对应的人体骨骼方向之间的偏差，得到每个传感器与骨骼之间的偏差量。