[发明专利]稀疏IMU实时人体动作捕捉及关节受力预测方法及系统

说明书

本申请涉及人体动作捕捉技术领域，特别涉及一种稀疏IMU实时人体动作捕捉及关节受力预测方法及系统，方法包括：采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部的惯性数据，得到骨骼在人体坐标系中的骨骼朝向和加速度，将骨骼朝向和加速度输入至预设的人体运动学模型，预测人体姿态、运动、以及人‑地接触信息并输入至预设的人体动力学模型，预测人体姿态、运动、关节受力和地面作用力，解决了需要通过绑定大量的传感器进行人体动捕及关节受力预测，从而阻碍人体运动等问题，通过双重PD控制器连接人体运动学模型和人体动力学模型，融合为一个整体的稀疏惯性动捕和受力预测系统，实现了可靠的实时人体动捕及关节受力预测。

技术领域

本申请涉及人体动作捕捉技术领域，特别涉及一种稀疏IMU（InertialMeasurement Unit，惯性测量单元）实时人体动作捕捉及关节受力预测方法及系统。

背景技术

人体动作捕捉和人体关节受力预测在电影制作，运动分析，游戏制作、医疗诊断和康复等领域有着重要的应用。随着IMU技术的发展与普及，越来越多的工作尝试使用纯惯性传感器进行动作捕捉。这些方法可以避免光学动捕中需要限制人体运动范围的问题，同时可以捕捉高速、大范围的运动，不受光线、遮挡的影响。

相关技术中，需要使用精密的仪器、专业的设备或者绑定大量传感器（10个以上）来采集人体的动作和关节受力信息，或对其进行预测。

然而，由于商用惯性动捕设备（如Xsens）需要在人体身上绑定密集的IMU模块，这些模块会阻碍人体运动，使人不舒服，且这些商用设备无法估计人体关节受力。因此，只使用稀疏（少量）的IMU进行人体动作捕捉及关节受力预测成为一个有意义的研究问题。

发明内容

本申请提供一种稀疏IMU实时人体动作捕捉及关节受力预测方法及系统，以解决需要通过绑定大量的传感器进行人体动捕及关节受力预测，从而阻碍人体运动等问题。

本申请第一方面实施例提供一种稀疏IMU实时人体动作捕捉及关节受力预测方法，包括以下步骤：

采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部处的惯性传感器测量的惯性数据；

根据所述惯性数据得到骨骼在人体坐标系中的骨骼朝向和加速度，并将所述骨骼朝向和加速度输入至预设的人体运动学模型，预测人体姿态、运动、以及人-地接触信息；以及

将所述人体姿态、运动、以及人-地接触信息输入至预设的人体动力学模型，预测人体姿态、运动、关节受力和地面作用力。

根据本申请的一个实施例，所述将所述人体姿态、运动、以及人-地接触信息输入至预设的人体动力学模型，预测人体姿态、运动、关节受力和地面作用力，包括：

利用双重PD控制器（PD controller）得到最优的目标加速度；

在预设二次规划框架下，基于刚体力学和真实世界物理规律优化出所述人体姿态、运动、关节受力和地面作用力。

根据本申请的一个实施例，所述预设二次规划框架以硬约束建模了人-地接触和人体动力学，其数学表达式为：

其中，为根节点线性加速度和关节角加速度，为作用于人-地接触点的地面接触力，为人体关节力矩，为人-地接触点雅可比矩阵，c为人-地接触点，为双重PD控制器能量项，为优化正则项，M为人体惯性矩阵，h为包括科里奥利力、离心力和重力等项的非线性项，为地面接触力的摩擦锥约束集，为人-地接触关节的线速度，j为人体触地关节，为触地关节的线速度约束集。

根据本申请的一个实施例，在根据所述惯性数据得到所述骨骼在所述人体坐标系中的朝向和加速度之前，还包括：

基于被捕捉者维持T-pose预设时长，计算IMU朝向和骨骼朝向的偏差，得到校准偏差矩阵。