[发明专利]图像处理设备、方法和程序

说明书

技术领域

本发明涉及图像处理设备、方法和程序，更具体地说，涉及能够迅速并且准确地识别手势的图像处理设备、方法和程序。

背景技术

利用图像把人物的手势识别为手势的技术已得到广泛使用。

在识别手势的技术中，首先，使用只包括经成像的双手的图像，或者通过指示图像中的双手的位置，提取只包括双手的图像。

随后利用肉色信息、运动检测和模式匹配方法，从只包含所提取的双手的图像中识别手势(参见未经审查的日本专利申请公开No.2007-333690，未经审查的日本专利申请公开No.2007-538318和未经审查的日本专利申请公开No.9-206471)。

发明内容

在未经审查的日本专利申请公开No.2007-333690，未经审查的日本专利申请公开No.2007-538318和未经审查的日本专利申请公开No.9-206471中，不能从包括整个人体的图像中识别出手势，因为预先假定使用只包括双手的图像。

从包括整个人体的图像中检测只包括双手的区域需要一定时间。即使当根据关于双手的粗略位置的信息，提取只包括双手的区域时，提取的只包括双手的区域的图像也仅仅是粗略的。于是，需要在不一定能从只包括双手的区域的图像中识别出手势的状态下识别手势。因此，识别结果的鲁棒性(robustness)未必较高。

理想的是提供一种能够利用包括整个人体的图像，迅速并且准确地识别手势的技术。

按照本发明的一个实施例，提供一种图像处理设备，包括面部图像检测单元，其从输入图像中检测面部图像；姿势估计单元，其根据用面部图像检测单元检测的面部图像的位置，估计输入图像中的人物的姿势；手位置检测单元，其根据姿势估计单元估计的姿势，检测人物的手的位置；手图像提取单元，其根据手位置检测单元检测的人物的手的位置信息，从输入图像中提取人物的手图像；手形指定单元，其根据手图像提取单元提取的手图像，指定人物的手的形状；手形时间序列存储单元，其通过与手的位置信息相对应，来把由手形指定单元指定的手的形状保存为时间序列；和手势识别单元，其根据通过与手的位置信息相对应而在手形时间序列存储单元中保存为时间序列的与手的形状有关的信息来识别手势，所述手势是利用人物的手的手姿势。

图像处理设备还包括手势存储单元，其针对每种手势，通过与手的位置信息相对应而把与手的形状有关的信息保存为时间序列。手势识别单元把通过与手的位置信息相对应而在所述手形时间序列存储单元中保存为时间序列的与手的形状有关的信息，和针对每种手势通过与手的位置信息相对应而在所述手势存储单元中保存为时间序列的与手的形状有关的信息进行比较，然后根据比较结果来识别手势。

图像处理设备还包括相似度计算单元，其计算通过与手的位置信息相对应而在所述手形时间序列存储单元中保存为时间序列的与手的形状有关的信息，和针对每种手势通过与手的位置信息相对应而在所述手势存储单元中保存为时间序列的与手的形状有关的信息之间的相似度。手势识别单元可把具有最大相似度的手势设定为识别结果。

当最大相似度小于预定阈值时，作为识别结果，手势识别单元可认为不存在手势。

图像处理设备还可包括登记单元，当最大相似度小于预定阈值时，所述登记单元把通过与手的位置信息相对应而在所述手形时间序列存储单元中保存为时间序列的与手的形状有关的信息与预定手势相对应，从而将所述与手的形状有关的信息登记在所述手势存储单元中。