[发明专利]稀疏IMU实时人体动作捕捉方法、装置及设备

说明书

本申请涉及人体运动捕捉技术领域，特别涉及一种稀疏IMU实时人体动作捕捉方法、装置及设备，包括：根据采集的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部处的惯性传感器检测惯性数据得到骨骼在人体本地坐标系中的骨骼朝向和加速度，将骨骼朝向和加速度对齐到根节点坐标系下；将对齐后的骨骼朝向和加速度代入反向动力学的多阶段姿态求解器，分阶段预测人体的末端关节坐标、全部关节坐标，求解人体姿态；将对齐后的骨骼朝向和加速度及末端关节坐标、全部关节坐标和人体姿态代入预设的多分支运动求解器，求解人体运动；基于人体姿态和人体运动得到实时人体动作捕捉结果，解决了商业动捕设备无法满足普通消费者日常动作捕捉需求的问题。

技术领域

本申请涉及人体运动捕捉技术领域，特别涉及一种稀疏IMU（InertialMeasurement Unit，惯性传感器）实时人体动作捕捉方法、装置及设备。

背景技术

人体动作捕捉，目标是使用计算机记录真实人体的姿态和运动，在游戏、电影制作、AR/VR（Augmented Reality，增强现实/Virtual Reality，虚拟现实）、医疗等方面有着大量的应用，这些应用都需要一个具有高精度、实时运行速度、对人体侵入性低的运动捕捉系统。

相关技术中，商用的光学动作捕捉系统（如Vicon）需要在人体上粘贴大量标记点，并使用大量相机捕捉人体的动作；商用惯性动捕系统（如Noitom、Xsens）需要人体穿戴大量（17个）IMU设备，穿戴非常耗时，且用户会感受到不舒服、受到阻碍。

然而，这些技术都需要大量昂贵的设备，复杂的穿戴，无法满足普通消费者日常动作捕捉的需求。

发明内容

本申请提供一种稀疏IMU实时人体动作捕捉方法、装置、电子设备及存储介质，以解决相关技术中商业动捕设备无法满足普通消费者日常动作捕捉需求的问题，成功实现了可靠、准确、实时的人体动作捕捉，且不受到光线或遮挡的影响，具有极高的应用价值。

本申请第一方面实施例提供一种稀疏IMU实时人体动作捕捉方法，包括以下步骤：

采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部处的惯性传感器检测的惯性数据；

根据所述惯性数据得到骨骼在人体本地坐标系中的骨骼朝向和加速度，并将所述骨骼朝向和加速度对齐到根节点坐标系下；

将对齐后的骨骼朝向和加速度代入预设的反向动力学的多阶段姿态求解器，分阶段预测人体的末端关节坐标、全部关节坐标，求解人体姿态；

将所述对齐后的骨骼朝向和加速度及所述末端关节坐标、所述全部关节坐标和所述人体姿态代入预设的多分支运动求解器，求解人体运动；以及

基于所述人体姿态和所述人体运动得到实时人体动作捕捉结果。

可选地，在根据所述惯性数据得到所述骨骼在所述人体本地坐标系中的骨骼朝向和加速度之前，还包括：

基于被捕捉者维持预设T姿态预设时长，标定IMU摆放方向与对应的人体骨骼方向之间的偏差，得到每个传感器与骨骼之间的偏差量。

可选地，所述将对齐后的骨骼朝向和加速度代入预设的反向动力学的多阶段姿态求解器，分阶段预测人体的末端关节坐标、全部关节坐标，求解人体姿态，包括：

基于由所述惯性数据得到的拼接向量，利用第一双向循环神经网络从当前帧的输入向量估计人体的末端关节相对于根节点的坐标；

将拼接的所述末端关节相对于根节点的坐标和所述拼接向量输入至第二双向循环神经网络，估计人体全部关节相对于根节点的坐标；

基于拼接的所述人体全部关节相对于根节点的坐标和所述拼接向量，利用第三双向循环神经网络求解反向动力学问题，求解所述人体姿态。

可选地，所述采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部处的惯性传感器检测的惯性数据，包括：

截取M个历史帧和N个未来帧，使用当前窗口的惯性传感器的测量值数据得到所述惯性数据。