[发明专利]三维近距离交互的改进或与其有关的改进

说明书

技术领域

本发明涉及三维(3D)近距离交互的改进或与其有关的改进，更特别地，但非排他性地，涉及靠近深度感应成像装置的使用者的手和/或手的主要部分的检测和跟踪，由此确定实现基于手和/或手指的手势交互的信息。

背景技术

利用手势和运动识别的人机交互系统和方法是计算机视觉领域中已知的技术。已知的是，目前基于测距照相机装置的交互系统，例如，使用3D结构光照相机的系统，也能实现使用者在特定成像装置的视场内进行的3D手势和运动识别。在这种系统中，使用者一般站立于距照相机至少1m的距离处，他的运动和/或手势需要清晰突出，即，足够大，以便预定和限制了分辨率的3D照相机进行检测。例如，典型的3D照相机分辨率是基于四分之一视频图形阵列(QVGA)，即，320*240像素，因此，限制了可检测运动的精度或检测距3D成像装置过远的较小对象(例如，手指)的能力。在这种系统中，一般无法可靠地检测和跟踪使用者的手，更特别地，无法在这种距离下检测手的手指。更确切地说，大多数现有3D成像装置用于对距照相机1m至5m的范围内的使用者进行全骨骼跟踪。另外，大多数这种3D成像装置的技术规格使其无法在距照相机传感器0m至1.5m的范围内进行测量。

但是，随着某些新技术的发展，例如，3D飞行时间(ToF)照相机，可检测和跟踪处于照相机传感器不同距离处的特征，例如，距照相机传感器1m以内，特别是0.5m以内的使用者的手和/或手指。这被称作“近距离交互”，特别适用于桌面环境或其它环境，例如，汽车环境中实现基于非接触式手部和手指手势的交互。

已知的是，通过肤色检测在内嵌了每个像素的颜色通道的图像内检测人体的多个部位是否存在。这种方法在A.A.Argyros和M.I.A.Lourakis的标题为“使用可运动相机对多肤色对象进行实时跟踪”的文章(欧洲计算机视觉会议(ECCV’04)记录，施普林格出版社，第3卷，第368至379页，2004年5月11日至14日，捷克共和国，布拉格)中有所描述。在本文中，基于贝叶斯分类器检测团块，贝叶斯分类器用小的数据训练集引导，包括肤色概率，以使分类器解决环境照度可能干扰肤色检测时出现的照度变化问题。该检测方法基本上能在近距离交互环境中检测使用者的手和脸，可与这些被检测肤色团块的某些跟踪功能相结合，由此提供图像中团块的位置信息。这种信息随后可用于对手势识别系统提供输入，例如，以在没有身体接触的情况下简单地控制计算机鼠标。