[发明专利]基于视觉的手势遥控系统

说明书

技术领域

本发明涉及图像处理、模式识别及对象跟踪领域，并且更具体地涉及基于视觉的手势遥控系统。

背景技术

随着在当今人们的生活中计算机以及众多便携式智能设备变得越来越不可或缺，人们将希望在人与计算机之间的更自然并且更高效的交互。然而，传统的诸如鼠标/键盘、遥控器、甚至于触摸屏之类的人机交互(HCI)的外围设备在一些特殊条件下(例如，在浴室或厨房中，在驾驶中，等等)对于用户来说是不方便的，因为在这些地方需要的是自由触摸HCI。因此，近年来，作为潜在的解决方案之一的手势遥控系统得到越来越多的关注。

基本上，手势遥控系统将跟踪手并分析有意义的手的表达，如果它们被识别为是预先定义的手势中的一种，则相应的操作命令将被触发以执行预定的操作。由于在很多情形中手势识别是很复杂的，所以在手势识别处理中，许多不同的工具被采用来解决此问题，诸如隐马尔科夫模型(Hidden Markov Models(HMM))、粒子滤波器、有限状态机(FSM)和神经网络。大多数手势识别系统要求高的计算复杂度；此外，其中一些具有某些限制，例如，需要额外的设备(如需要佩带手套)或精密的仪器(如需要红外相机收集深度信息)或者只能在良好照明环境以及简单背景环境中运行(如不能区分手与具有肤色类似颜色的物体，或者只能识别静态手势，等等)。

因此，需要一种实时遥控的计算复杂度低并且能够在复杂环境中良好运行的手势识别系统。

发明内容

根据本发明的一方面，一种基于视觉的手势遥控系统包括：图像捕获设备，所述图像捕获设备用于捕获对象的一系列图像；手势识别设备，所述手势识别设备用于从所述图像捕获设备所捕获的一系列图像识别对象的手势并将识别结果发送给操作命令触发设备；以及操作命令触发设备，所述操作命令触发设备用于根据从所述手势识别设备发送来的识别结果来触发预定操作命令，其中，所述手势识别设备包括：手检测部件，所述手检测部件用于从所述图像捕获设备所捕获的图像检测对象的手；手跟踪部件，所述手跟踪部件用于在当所述手检测部件在一图像中检测到对象的手时，在接下来的图像中跟踪对象的手；手势识别部件，所述手势识别部件用于根据所述手检测部件检测到的对象的手和所述手跟踪部件跟踪到的对象的手来确定对象的手的运动并根据所确定的对象的手的运动来识别对象的手势。

在一个实施例中，所述手检测部件通过将由所述图像捕获设备所捕获的图像变换成灰度图像，来利用基于局部二值模式的级联分类器从该灰度图像检测对象的手。

在一个实施例中，所述手跟踪部件通过如下处理来跟踪对象的手：利用在前一图像中检测或跟踪到的手的范围以及当前图像的肤色图像与前一图像的肤色图像之间的差分图像，来初始定义当前图像的肤色图像中的用于跟踪手的搜索范围；执行模板匹配法以确定作为跟踪到的当前图像的手的范围，其中，所述模板匹配法包括：

在搜索范围中定义多个第一候选手范围，该些第一候选手范围具有与目标模板的大小相同的大小，并且，在差分图像中定义第二候选手范围，该候选手范围具有与目标模板的大小相同的大小，其中，所述目标模板为在前一图像中检测或跟踪到的手的范围；

针对所述多个第一候选手范围循环执行如下步骤直到这多个第一候选手范围都经过如下匹配判断处理为止，从而确定出与目标模板最匹配的候选手范围作为在当前图像的肤色图像中跟踪到的手的范围：

计算一个第一候选手范围与目标模板的各像素的绝对差的平均值作为第一误差；

如果该第一误差大于第一预定阈值，则表示该个候选手范围不与目标模板匹配，从而被排除；

如果该第一误差小于第一预定阈值，则计算第二误差，第二误差是通过将第一误差减去第二候选手范围的各像素的值的平均值所获得的值乘以预定的调节系数而得到的值；

如果该第二误差小于第二预定阈值，则确定匹配，即该个第一候选手范围被确定为在当前图像的肤色范围中跟踪到的手的范围，并且第二误差的值作为第二阈值以便对下一个第一候选手范围进行匹配判断。

在一个实施例中，在确定了在当前图像的肤色图像中的搜索范围之后并在执行模板匹配法之前，参考所述差分图像来修正初始定义的搜索范围，并在减小后的搜索范围内定义所述多个候选手范围并执行所述模板匹配法来确定当前图像的手的范围，其中，所述修正包括：将初始定义的搜索范围的各边逐渐向内缩，并且当任一边遇到像素值大于预定阈值的像素时，该边停止向内缩。