[发明专利]手势识别系统和方法

说明书

技术领域

本发明涉及用户与计算机的交互，更具体地讲，涉及用于大型显示设备浸入式交互的手势识别。

背景技术

基于浸入式大型显示设备的虚拟现实需要通过方便的方法来进行人机互动。不幸的是，对于简单的用户交互，当前人机交互具有障碍。因此，消费者难以接受多媒体和虚拟现实应用。例如，计算机键盘提供广泛的交互能力，但是它不够直观，相比起来，电视遥控器更直观，但是电视遥控器却提供了有限的交互能力。还有一些灵活显示界面(flexible interface)，但是它们是不方便且昂贵的。

大型显示器向人们提供了浸入式环境，因此通过人手与大型显示器交互是非常方便的。当前，大多数现有系统仅考虑手的位置或运动，但是它们不理解手的形状的意思。实际上，由于通过不同的手指布局来表达不同的意思，因此，手的形状对于人机交互是非常有用且有效方法。

因此，本发明一种能够通过手势识别来与大型显示器进行交互的系统和方法。

发明内容

本发明的目的在于提供一种高效的手势识别系统和方法。

根据本发明的一方面，提供了一种手势识别方法，包括：选择手势模板；根据选择的手势模板产生可用规则；捕获图像，该图像中包括手势图像；根据选择的手势模板和产生的可用规则来对手势图像进行识别匹配。

根据本发明的一方面，提供了一种手势识别系统，包括：模式选择模块，选择手势模板；规则模块，根据选择的手势模板产生可用规则；图像捕获模块，捕获图像，该图像中包括手势图像；识别匹配模块，根据选择的手势模板和产生的可用规则来对手势图像进行识别匹配。

通过本发明的手势识别系统和方法具有较高的匹配度，从而使得人能够与大型显示器通过手势进行更好的交互。

附图说明

图1是示出根据本发明示例性实施例的用于大型显示设备浸入式交互的手势识别系统的结构的框图。

图2是显示根据本发明示例性实施例的模式选择模块1选择手势模板的过程的流程图。

图3是显示根据本发明示例性实施例的识别匹配模块6识别手形状的操作的过程的流程图。

图4是对步骤601中的手检测过程的流程图。

图5A显示出所有深度值的比例图，图5B显示出步骤6013中的阈值方法得到的分割结果。

图6是显示图3中的步骤603提取手指尖的特征点的示图。

图7显示根据本发明的将手形状采样与手势模板进行匹配的过程的流程图。

图8中的(a)示出了锚点的形状上下文特征，图8(b)示出了旋转不变性，图8(c)示出了根据本发明的最终匹配的手势模板和手势采样。

图9是根据本发明的示例性实施例的手势识别方法。

图10示出了根据本发明示例性实施例的选择的手势集。

具体实施方式

图1是示出根据本发明示例性实施例的用于大型显示设备浸入式交互的手势识别系统的结构的框图。该手势识别系统包括模式选择模块1、规则模块2、模式数据库3、规则数据库4、图像捕获模块5和识别匹配模块6。其中，模式选择模块1输出经选择的手势模板，并且将选择的手势模板作为输入存储到模式数据库3中，同时也将可用的手势模板通知给规则模块2。规则模块2产生可用规则，并将可用规则存储在规则数据库4中。图像捕获模块5进行图像采集，并将采集的图像发送给识别匹配模块6，从而识别匹配模块6进行手势识别。另外，模式数据库3将手势模板发送给识别匹配模块6，规则数据库4将可用规则发送给识别匹配模块6。

在本发明中，在可通过使用两种照相机，例如可通过CCD照相机和TOF深度相机来实现图像捕获模块5。其中，CCD(电荷藕合器件)相机提供颜色信息和灰度信息，TOF相机(深度相机)提供场景的深度信息。

图9是根据本发明的示例性实施例的手势识别方法。

在步骤901，模式选择模块1输出经选择的手势模板，并且将选择的手势模板作为输入存储到模式数据库3中。

在步骤902，规则模块2根据选择的手势模板产生可用规则，并将可用规则存储在规则数据库4中。

在步骤903，图像捕获模块5进行图像采集，并将采集的图像发送给识别匹配模块6。

在步骤904，识别匹配模块6根据模式数据库3中的手势模板和规则数据库4中的可用规则来对采集的图像中的手势图像进行识别匹配。