[发明专利]接口装置和接口方法

说明书

技术领域

本发明涉及通过处理用户身体局部的姿态或动作的图像来控制对象装置的接口装置和接口方法。

背景技术

操作诸如电视或计算机等控制对象装置的接口装置包括例如遥控器、键盘或鼠标等指示设备。然而，这种指示设备对用户来说不易操作，因为用户是间接地通过指示设备操作对象装置。另外，如果用户丢失了指示设备，就不能操作对象装置。

因此，作为解决上述问题的接口装置，提出了姿势-用户接口装置(JP-A(Kokai)第2004-78977号)。在该装置中，通过移动用户的手或改变用户手的姿势，能操作对象装置而无需指示设备。

例如，通过安装到显示器上的CCD照相机捕获包含用户手的图像，并从图像识别出用户手的姿势或手的运动。基于用户手的姿势或手的运动，显示在屏幕上的指示图标的形状和位置发生改变。通过这样的显示控制，公开了要通过用户姿势指示的接口装置。

在这种接口装置中，用户执行预定义的姿势。例如，用户执行预定义的姿势、用户做预定义的姿势，或用户根据预定义的轨迹移动他/她的手。简言之，通过预定义的姿势，用户可以指示对应于所述姿势的预定义指令或状态。

然而，在上述接口装置中，用户必须事先记得可作为指示使用的姿势。对于使用姿势来指示的用户来说，这是一种负担。

发明内容

本发明旨在为用户提供接口装置和接口方法，以简单地执行用户身体局部的姿态或动作来控制对象装置，而无需记住所述姿态或动作。

根据本发明的一个方面，提供了一种与控制对象装置接口的装置，该装置包括：图像输入单元，被配置为输入包含用户身体局部的图像；姿势识别单元，被配置为从图像识别用户身体局部的姿态或动作；控制单元，被配置为基于对应于所述姿态或动作的指示控制所述控制对象装置；以及姿势信息显示单元，被配置为显示由姿势识别单元识别的姿态或动作的示范图像。

根据本发明的另一个方面，还提供了与控制对象装置接口的方法，该方法包括：输入包括用户身体局部的图像；从图像识别用户身体局部的姿态或动作；基于对应于所述姿态或动作的指示，控制所述控制对象装置；显示识别的所述姿态或动作的示范图像，用于由用户参考来指示控制对象装置。

附图说明

图1是根据第一个实施例的HGUI装置的结构图。

图2是图1中的姿势识别单元2的结构图。

图3是通过图2中局部区域产生单元21产生的局部区域的示意图。

图4是图2中对象检测单元22的多个分类器的示意图。

图5是解释对象检测单元22的处理的示意图。

图6是被图1中的控制单元控制的一个屏幕范例的示意图。

图7A和图7B是用于操作的手姿势示意图。

图8是按照图1中姿势信息显示单元4的姿势用户接口的一个例子的示意图。

图9是根据第二个实施例的HGUI装置的结构图。

图10是图9中的姿势识别单元5的结构图。

图11是图9中的姿势信息显示单元6的结构图。

图12是按照图11中姿势信息显示单元6的姿势用户接口的一个例子的示意图。

图13是按照图11中姿势信息显示单元6的姿势用户接口的另一个例子的示意图。

具体实施方式

在下文中，本发明的各种实施例将参照附图进行说明。本发明不受限于下面的实施例。

(第一实施例)

在下文中，通过参照图1-8说明用来操作控制对象装置的手姿势用户接口装置(它被称为HGUI装置)。图1是根据第一个实施例的HGUI装置的结构图。在下面的说明中，作为识别对象的用户身体局部是至少一只手。然而，用户身体局部不限制于手。例如，用户的面部表情、用户头部的运动、用户躯体的运动、或用户腿部的运动也可以作为识别对象。

在图1中，图像输入单元1通过诸如CCD视频相机的摄影设备输入包含用户手的图像，并将图像提供到姿势识别单元2。姿势识别单元2判断识别对象(用户的手)的区域和识别对象的姿势的类型，并输出姿势的区域和类型。在这种情况下，“姿势”不仅仅表示用户身体局部的“动作”也表示用户身体局部的“姿态”。控制单元3决定控制对象装置(图1中没有显示)的控制内容，并基于控制内容控制所述控制对象装置。姿势信息显示单元4显示信息，所述信息在指示HGUI装置情况下用于用户参考。