[发明专利]人机互动系统和方法

摘要

本发明是有关于一种人机互动系统和方法。其中的方法包括：实时摄取图像，并拾取声音信号；从图像中提取用户手部轮廓信息；根据该用户手部轮廓信息确定用户的手部姿势；将该手部姿势在预先存储的手部姿势与控制设备的输入信息的对应关系信息中匹配查找，以确定用户的手部姿势对应的控制设备的输入信息；对声音信号进行语音识别处理，并从语音识别处理结果中提取关键词；在确定出的上述查找到的输入信息与所述关键词相匹配时，根据确定出的输入信息或者关键词执行相应的操作。本发明提供的技术方案能够基于手部姿势信息和语音实现人机互动，从而使人机互动的实现方式多元化，非常适于实用。

主权项

一种人机互动系统，其特征在于，包括：视频捕捉装置、声音捕捉装置和控制装置；所述视频捕捉装置，用于实时摄取图像，并输出；所述声音捕捉装置，用于拾取声音信号，并输出；所述控制装置包括：接收模块，用于接收所述视频捕捉装置传输来的图像；手部提取模块，用于从所述接收模块接收到的图像中提取用户手部轮廓信息，并根据所述手部轮廓信息确定用户的手部姿势；存储模块，用于预先存储手部姿势与控制设备的输入信息的对应关系信息；控制模块，用于将手部提取模块确定的手部姿势在所述存储模块中存储的对应关系信息中进行匹配查找，以确定手部提取模块确定出的手部姿势对应的控制装置的输入信息；语音识别模块，用于对所述声音捕捉装置拾取的声音信号进行语音识别处理；关键词模块，用于从所述语音识别模块的语音识别处理结果中提取关键词，并输出所述关键词；执行模块，用于在所述控制模块确定出的输入信息与所述关键词相匹配时，根据所述控制模块确定出的输入信息或所述关键词执行相应的操作。