[发明专利]一种面向房间VR的全身三维姿态跟踪方法

说明书

本发明公开了一种面向房间VR的全身三维姿态跟踪方法，包括：(1)将人体17个关节划分为五条运动链C1、C2、C3、C4和C5；(2)由VR HMD提供的头显位置信息，根据二臂铰链关节结构获得C2链上各个关节的位置，(3)由VR手柄提供的手柄位置信息，根据三臂铰链关节结构获得C1、C3运动链的姿态；(4)由C4、C5运动链建立下肢运动学模型并训练；(5)对捕获的下肢图像采用低通滤波器进行处理；(6)将处理后的图像传入训练好的模型进行识别，得到下肢9个关节点的3D位置信息；(7)将得到的上肢关节位置与下肢关节位置以骨盆关节为公共根关节统一到同一坐标系下。利用本发明，可以提高跟踪准确率以及实时性。

技术领域

本发明属于人机交互技术领域，尤其是涉及一种面向房间虚拟现实应用的全身三维姿态跟踪方法。

背景技术

大量房间VR应用都需要全身追踪系统，这可以让我们在VR中看到虚拟身体，进一步强化沉浸感。目前房间VR探索领域已经有多款全身追踪的硬件产品。这些硬件产品通过对玩家全身进行精准的定位追踪，从而能够让玩家在虚拟世界中作出精准实时的交互和反馈。大多数VR动作游戏，为了获得更好地交互反馈，应用中都会使用手柄(手柄可通过震动将交互反馈传达给用户)。HTC逆运动学全身追踪解决方案，通过跟踪握在手中的头显和两个动作控制器，开发人员能够实现相当准确的上身虚拟形态。由于缺乏下半身跟踪器，一些VR体验中会避免用户往下看，然而大量动作体验应用，下半身的追踪同样重要，而在腿部安装跟踪器势必会增加用户的运动限制。不在人体上额外增加传感器，依靠现有的传感器进行人体三维姿态跟踪是一个重要研究方向。

在VR游戏中，当你向下看并移动手臂时，会看到虚拟物体，它们是由一种名为“逆运动学”(简称IK)的动画概念所控制的。IK body是VR游戏设计中顺利实现的基础元素。这仅仅是因为，当你伸手去触摸一件物品时，你希望看到自己手臂和肘部在你面前移动，IK满足了这种沉浸感的期望。对于开发人员，重要的是要包含最能激发存在感的内容。VR中存在感是一种沉浸感，IK是一个小细节，对于创造一种置身于VR中的感觉非常重要。99％的VR游戏以某种形式使用战斗机制，击砍、拳打脚踢、投篮和射击。

绝大部分现有的全身追踪系统都利用了头显和手柄追踪器的定位功能，利用逆运动学进行上半身动作解算，然而人体动作毕竟复杂，通过IK造成肘部定位不准确，极易出现不自然的动作，同时下半身也往往忽略。Final IK通过更复杂的逆运动解算可以追踪下半身，但膝盖位置的模糊依旧无法解决。而依靠深度学习来识别人体关节位置固然可以，却造成已有设备信息的浪费，同时在一些人体复杂动作中严重的自遮挡，降低了深度学习方法的准确性。

发明内容

本发明提供了一种面向房间VR的全身三维姿态跟踪方法，可以提高跟踪准确率以及实时性。

一种面向房间VR的全身三维姿态跟踪方法，包括以下步骤：

(1)建立人体关节运动链模型，将人体17个关节划分为五条运动链C1、C2、C3、C4和C5；其中，C1、C3链由双臂构成，C2链由头和躯干构成，C1、C2和C3三条运动链构成上肢姿态，C4和C5两条运动链构成下肢姿态，以骨盆根关节为公共根关节；

(2)由VR HMD提供的头显位置信息，根据二臂铰链关节结构，利用逆运动学获得C2链上各个关节的位置，通过角度插值进行平滑IK表现；

(3)由VR手柄提供的手柄位置信息，即C1、C3运动链上末端关节手掌的位置信息，根据三臂铰链关节结构，利用雅克比矩阵进行IK解算，获得C1、C3运动链的姿态；

(4)由C4、C5运动链建立下肢运动学模型，由9个关节8个骨骼组成，自由度为16，并利用神经网络模型对下肢运动学模型进行训练；

(5)对Kinect V2捕获的下肢图像流采用截止频率自适应低通滤波器进行处理；

(6)将滤波处理后的下肢图像传入训练好的模型中进行识别，得到下肢9个关节点的3D位置信息；