[发明专利]一种虚拟现实环境下可变形手抓取交互方法

说明书

本发明提出了一种虚拟现实环境下可变形手抓取交互方法，具体包括构建并采用两层蒙皮绑定手骨骼形成虚拟3D手模型，用平滑滤波算子构建虚拟3D物体的光滑有向距离场，然后采用距离场驱动三维虚拟手接触表面的形变。本发明改变虚拟现实手柄交互的不自然及非力反馈手套识别的手部易穿透物体的缺点，通过两层蒙皮绑定虚拟3D手骨架和用等距面构建的虚拟3D物体实现交互，并用平滑算子滤除接触高频毛刺，使手部模型始终贴在被抓取物体表面以改进自然交互体验。

技术领域

本发明涉及计算机图形学建模和虚拟现实人机手势交互领域，特别是涉及一种虚拟现实环境下可变形手抓取交互方法。

背景技术

随着虚拟现实技术的发展和普及，基于视觉的手势识别技术已成为手势交互领域内的研究热点之一。手势交互是利用计算机图形学等技术识别人手静动态信息并转化为命令来操作设备，弥补鼠标、键盘和触屏等人机交互方式不自然的缺点。然而目前国内外对这一方面的研究均有一定的缺陷，比如：利用最大似然准则Hausdorff距离的方法和多分辨率搜索策略较好地识别字母手势(参见何力,傅忠谦,顾理.一种基于最大似然Hausdorff距离的手势识别算法[J].电子技术,2010,47(5))，但是对于发生变形(旋转和缩放)的手势效果不好。通过图像特征提取和多类支持向量机可对手势较好地识别，但由于SIFT算法的计算复杂度导致识别速度较慢，实时性差(参见张秋余,王道东,张墨逸等.基于特征包支持向量机的手势识别[J].计算机应用,2012,32(12):3392-3396)。

Leap Motion是面向PC和Mac的体感控制器制造公司Leap研发的专门识别手并进行手势交互的体感控制器。其优势在于能够直接获取一些关于手的静态、动态信息，缺陷在于封装了识别方法和过程自身的封闭性及其提供信息的局限性的影响，难以直接通过这些信息完整地估计手的姿态，必须借助以下两种基于视觉的人手姿态估计方法：一、基于表观，通过机器学习从二维图像特征空间到三维人手姿态空间建立映射来估计人手的状态；二、基于模型，把人手三维模型投影到二维图像空间，通过特征比较和数据估算修正三维模型中估计的姿态参数。

为增强VR环境下手势交互的直观性，需构建可变形手抓取系统。虚拟现实眼镜暴风魔镜与全球领先的科技公司Leap Motion进行深度合作，在原有的暴风魔镜中内置LeapMotion,开发出世界首项基于移动虚拟现实的3D动态手势识别追踪技术，与PC相比功耗更低、更便捷。可实时追踪手部22个关键点，26个自由度,可以完全模拟手部的各个动作(参见胡弘,晁建刚,杨进等.Leap Motion关键点模型手姿态估计方法[J],计算机辅助设计与图形学报,2015,27(7):1211-1216)。

本发明拟通过构建虚拟3D手骨架以及用两层蒙皮(第一层用于骨骼绑定的隐藏层，第二层用于变形的显示层)的特殊方式驱动3D手模型，同时采用等距面构建虚拟3D物体(参见一种基于卷积曲面的头戴设备虚拟现实环境下生成可直接三维打印的建模系统ZhuX.,Song L.,You L.,et al.Brush2Model:Convolution surface‐based brushes for 3Dmodelling in head‐mounted display‐based virtual environments[J].ComputerAnimationVirtual Worlds,2017,28(3-4))。此外采用基于骨架半径的滤波策略(参考Mathieu S.,Oleg F.,Pierre-Alain F.,et al.Convolution Filtering of ContinuousSigned Distance Fields for Polygonal Meshes.Computer Graphics Forum 34(6):277-288(2015))去除非连续变化的距离场后有效生成处处光滑的距离场。既可避免虚拟3D手指穿透虚拟3D物体，又给用户在虚拟环境中更直观、自然3D手虚拟抓取效果，从而增强虚拟交互性和真实感。

发明内容