[发明专利]一种用于虚拟现实设备的手势识别控制方法

说明书

技术领域

本发明属于虚拟现实技术领域，具体来说涉及一种用于虚拟现实设备的手势识别控制方法。

背景技术

在虚拟维修应用中，人机之间的交互性尤为重要。基于视觉的体感交互是人机交互的重要技术之一，也是最自然的人机交互手段之一，其使用人手、身体的位置、方向和姿态作为计算机的输入方式，使输入空间和输出空间一体化，实现虚拟和真实环境对象的相互操作一致性，因此体感交互也逐渐成为虚拟维修中交互命令输入的关键技术。

体感交互中很重要的一部分就是手势交互。手势分析和交互的研究最早可追溯到上世纪80年代。Grimes于AT&T在1983年最先取得了“数字数据手套”专利。利用数据手套，可直接获取手部关节形状特征和位置、运动轨迹等时空特征信息。早期的手势/手语识别的研究通常都是基于数据手套的，然而由于需要佩戴设备、交互不便并且价格昂贵，因此大部分研究人员渐渐的都将研究的重点放到基于视觉的手势交互上。由于手势本身就是一种视觉语言，因此基于视觉的手势交互也更加符合人的“所见即所得”的认知期望。为简化手势检测、分析问题，研究人员借助有颜色标记的手套，使得手的运动转化为图像序列中颜色标记的运动。但是，颜色手套需要特殊的颜色标记，在交互中也不够自然，因此也未能得到成功的推广应用。随着计算机视觉技术的蓬勃发展，研究者逐渐将注意力集中到纯粹的基于视觉的手势分析中来，即用一个或多个摄像机来捕获手或手指的姿势、运动序列图像，进而通过计算机视觉算法来检测并识别出特定的手势。

在手势理解问题中，手势外观表现为某图像区域中像素的集合。手势外观受自身运动(如旋转，形变、平移等)，成像参数变化(如观察角度和距离等)和外部自然条件变化(如光照等)等因素的影响，并随着上述因素的变化而改变。同时随着手的运动，其所处的背景也不断变化。如何排除种种不确定和变化因素的影响，快速准确的将手部目标从视频序列中分离出来(手部检测和跟踪)，并有效解决手部的遮挡问题，提取用于刻画手势外观的参数，是手势理解的难点和重要研究内容之一。基于此，本发明重点关注手势捕获以及用于虚拟维修平台精细交互任务的手势理解问题。

手势跟踪中的一个主要问题是遮挡(occlusion)。对此已有一些工作作了显式的遮挡处理，比如：Awad通过跟踪中的任一物体与新检测到的物体间的遮挡预警来维持双手、人脸间的互遮挡状态。Gui等人将单手分割与后续的手势识别统一在一个框架中，利用主动轮廓的方法来解决遮挡的问题,虽然这种方法对遮挡出现后的目标形状恢复的效果较好，但计算成本过高。

基于图像2D表观特征的方法是用来进行手部刻画的最常用方法，在单一背景下，该类方法能够有效地对手部区域进行建模。但研究表明，无论采用哪种手势描述，在利用基于视觉的方法对2D摄像头捕获的视频数据进行处理时，手势检测、跟踪以及后续的手势理解受环境中光照、背景的影响很大，并且很难处理遮挡问题。

与2D表观特征的不确定性相比，深度信息可以提供更加丰富的数据，有效的区分场景中的前景和背景。为简化手势分析任务，提高手势分析的精度，很多研究人员将深度信息引入到手势分析与理解任务中来。

为得到有用的深度信息，一种方法就是使用多个摄像头，即立体视觉的方法来捕获3D的人体形状和运动。这种方法从每一个摄像头上提取2D图像特征(如轮廓信息、或关键特征点)来更新3D手部或身体模型的外观结构参数，但由于缺少目标物体的纹理，通常不能提供足够高的分辨率。另一种方法则是直接使用可以提供深度图像的3D传感器，例如直接使用含两个摄像头的立体视摄像机，来重构人体深度信息，进行人体跟踪；再例如利用深度信息来进行手部的分割。相对于肤色来讲，基于深度信息的手部分割比较准确，但只利用单一的深度线索，也会受相近深度范围内的其他物体的干扰而导致分割错误。

根据手势交互任务的具体应用不同，手势理解的精细程度需求也有差异。对于简单的控制性手势应用，粗糙的模型表征就足够了，但对于完成一定复杂度的自然人机交互任务，就需要较为精细的描述模型，以保证在模式空间内对各个手势模式具有一定的分类区分度。按照从粗到细来说，手势分析可分为：简单的孤立静态手势识别、动态手势识别、精细的手势模型恢复(如形状、朝向、位置、运动信息等)。