[发明专利]基于相机的多点触摸交互设备、系统和方法

说明书

技术领域

本发明涉及基于相机的多点触摸交互系统，其例如利用基于相机的输入装置和可见照明和/或红外照明来跟踪区域/空间内的对象，例如跟踪用于人与计算机交互的一个或多个手指或笔；该系统使得能够确定区域以及该区域的表面之上的高度内的二维位置，用于提供实际的二维输入坐标并且在实际的交互状态例如“不活动”（没有跟踪）、“盘旋”（跟踪却没有触摸，有时也称作“在范围内”）和“触摸”之间进行精确区分。本发明还涉及多模输入装置和接口，其例如允许笔和手指触摸输入并且还可操作用以同时处理几个对象，例如多点触摸计算机输入装置。此外，本发明涉及使用基于三维的输入装置来输入手势并且由此捕捉例如手或手指的人体姿势的方法，并且可以将一系列手势识别为用于三维控制的手势命令和/或位置和方向输入。

背景技术

基于相机对人与计算机交互的对象的跟踪特别是跟踪手和手指，在过去几十年已经获得科学的、工业的和商业的兴趣。由Pavlovic等，IEEE Trans.模式分析与机器智能，第19卷，第7号，第677至695页，1997年和由Zhou等，IEEE Int.研讨会关于混合的和增强的真实性，第193至202页，2008年给出了在该计算密集型领域中的成就的回顾。在所报告的技术中的很多技术中，为了降低遮挡的敏感度并且为了具鲁棒性的跟踪和手势解释，由一个或多个相机从几个不同的视点观察对象。

对于基于单个相机对手指触摸和手指姿势或手势的跟踪，类似遮蔽、轮廓、纹理、剪影的特征和这些对象的图像梯度，以及甚至从光滑的显示表面反射回来的他们的面镜被提取，并且用于对不同的基于模式的跟踪系统进行更新以计算手指姿势或手势以及检测例如实时手指触摸。

作为巧妙的特征提取的示例，US2010/0066675A1描述了基于如下的观察的单个相机触摸屏幕系统和特征提取：当触摸屏幕时来自由侧光源照明的手指的遮蔽基本上被手指模糊，使得当不触摸屏幕时遮蔽类似手指，然而当手指正在触摸屏幕时遮蔽被大幅变窄使得可以确定触摸。然而，独立权利要求被来自2005年的由发明人Andrew D.Wilson所撰写的公共科学文章（ACM Proc.UIST 2005,第83至92页）预料。

WO9940562（A1）、US006100538A和US2010188370（A1）主要描述了用于手指触摸或笔的对象跟踪系统，其中在坐标平面的周界处布置至少两个相机视点以通过三角测量来确定对象的坐标。

WO9940562（A1）描述了如下系统：使用单个相机和由一个或几个平面镜构成的类似潜望镜的光学系统用于检测计算机监视器屏幕前的笔和手指触摸，将从侧面看的屏幕的两幅图像记录在就在屏幕前的体积中，以确定笔或手指的坐标以及到屏幕的距离。

US006100538A描述了用于确定投影光的指点对象的位置并且被布置在坐标平面上的光学数字化器，以及被布置在坐标平面的周界上的检测器，优选地，一对线性图像传感器，具有覆盖坐标平面的视场，并且布置准直器以限制检测器的视场的高度而且检测器仅可以接收从基本上平行于坐标平面的指点对象投影的光的平行分量，并且布置屏蔽以阻止除了投影光以外的噪声光进入检测器的有限的视场内，以及提供处理器用于计算表示指点对象的位置的坐标。

US 2010188370（A1）描述了如下基于相机的触摸系统：包括沿着周界放置并且通常位于触摸表面的角中的具有重叠的场的至少两个相机，以通过三角测量来确定指点器的位置以及确定触摸表面上的指点器触摸和指点器盘旋。

JP63292222和US2008152192（A1）主要使用远离对象的相机以及在相机的视场内使用一个或多个平面镜从不同的视点以及基本上与相机轴垂直的方向来观察对象以简化对象的位置的检测。

JP63292222使用远离书写表面的单个相机以及沿着所述书写表面的周界的、在朝向所述表面倾斜的两个方向X和Y中的每个方向中的两个平面窄镜来获得指点装置的可替选视点，这使得可以通过捕捉和分析沿着书写表面区域的两个面镜区域来分别获得X坐标和Y坐标。

US2008152192（A1）描述了用于3D监视和分析测试对象（即，鱼和动物）的运动相关的行为的系统。该系统包括实际的相机和至少一个虚拟的相机，虚拟的相机通过在实际的相机的视场内使用至少一个平面镜来实现，表示可以在所捕捉的相机图像的一个或多个区域中被分析的至少一个可替选视点，以能够对测试对象的运动行为进行分析。