[发明专利]一种用于虚拟现实设备的体感控制方法

说明书

技术领域

本发明属于虚拟现实技术领域，具体来说涉及一种用于用于虚拟现实设备的体感控制方法。

背景技术

体感技术是指人们直接地使用肢体动作与周边的装置或环境互动，无需使用任何复杂的控制设备便可让人们身历其境地与内容做互动。体感互动系统利用即时动态捕捉、影像辨识、麦克风输入、语音辨识等功能让人们摆脱传统单调的操作模式。本课题将把体感交互应用到工业制造领域中，利用体感交互的优越性简化解决工业制造中的问题，提高设计和制造效率。

体感姿势估计算法主要对人体的外观与结构等特点进行研究，提取出主要的特征，然后利用约束求解、特征计算等方法，从输入的图像中提取出人物的骨架数据。姿势估计算法通常分为基于学习的方法、基于样例的方法、基于模型的方法三类。

(a)基于学习的方法

基于学习的方法使用大规模的姿态各异的样例对2D图像的特征与3D姿势之间的映射进行离线训练。然后根据训练的结果对输入的图像进行姿势的估计与跟踪。用一个姿态估计器来自动地在第一帧初始化跟踪模块，当跟踪失败时，自动地重新初始化。文献[Cao,2010]使用马尔可夫随机场(Markov Random Field.MRF)来自动地检测运动的人体。

(b)基于样例的方法

基于样例的方法通过维护一个大规模的样例数据库来实现对姿势估计与跟踪。所采用的样例集合从图像空间和3D空间对姿势进行描述。这种方法不需要建立全局对应模型，对于参数估算问题十分有效，但是涉及到模板库的存储，空间消耗较多。通过使用多个相机，Sagawa[Sagawa,2007]等人从捕捉到的图像中生成体素模型，然后使用基于直方图的特征向量来表示人体的3D形状上下文。

(c)基于模型的方法

基于模型的姿势估计使用预定义的身体模型或者图像描述符等来对人体运动进行预测与跟踪，通过匹配和约束的计算估算出当前帧的人物姿态。基于模型的方法能够解决自遮挡和歧义问题，而无需使用多个相机。Zhu[Youding,2008]等人定义了一个头部—颈部—躯干(Head-Neck.Torso，HNT)模板，使用8个特征来表现人体的上半部分。首先根据样本学习获得模板分布的参数，识别出角色的头部、四肢和躯干的位置。识别出位置之后，获取每个部位的关节点，求解约束方程。使得估算的特征和观察特征之问的误差最小。

在体感交互任务中，体感检测是其中较为重要的一个课题，通过对用户行为的分析，识别出用户的意图并做出相应的反应。目前已有的姿势估计方法中，基于学习的方法使用大规模的姿态各异的样例对2D图像的特征与3D姿势之间的映射进行离线训练，然后根据训练的结果对输入的图像进行姿势的估计与跟踪，由于需要离线训练，需要耗费更多的资源；基于样例的方法通过维护一个大规模的样例数据库来实现对姿势估计与跟踪，所采用的样例集合从图像空间和3D空间对姿势进行描述，由于涉及到模板库的存储，空间消耗较多。

发明内容

在虚拟现实设备所采用的体感交互过程中，准确、快速的体感检测是正确体感交互的前提，因此，实现基于模板匹配预测的体感检测，提高人体骨架跟踪的精度和准度，是一个重要的研究问题。

本发明开发了一种基于模板匹配的体感检测方法，实现了计算量小并且高精度的人体骨架跟踪。具体来说，本发明采用了以下技术方案：

一种用于虚拟现实设备的体感控制方法，所述虚拟现实设备包括虚拟现实显示装置、控制器及体感识别装置，其中体感识别装置识别并捕捉用户运动的图像，控制器分别连接体感识别装置和显示装置并从体感识别装置获取所捕捉的图像，经过处理后形成显示信号并传输到显示装置进行显示，其特征在于，所述方法包括：1)建立身体模板模型；2)获取用户的初始姿势的深度图，并将模型映射到该深度图，实现骨骼的正确匹配；3)持续获取深度图，采用稀疏估计算法，依据前一帧图像的身体部位数据对当前帧深度图运动进行粗略预测，生成预测结果；4)根据预测结果对模型进行投影转换，将投影转换后的模型深度图与输入深度图进行对比，通过判断图像的相似性，得到正确的姿势预测。

优选地，所述身体模板模型采用近似几何的三维模型。

在一个优选实施方案中，步骤2)用户姿势与模型匹配的过程包括：将模型中的身体部位渲染成特定颜色，然后将三维模型投影到图像平面上，对人体的深度图进行坐标转换后，将三维模型投影与深度图进行一一对应，从而创建人体部位分配映射。