[发明专利]一种基于显控台的人机交互方法及系统

权利要求书

1.一种基于显控台的人机交互方法，其特征在于，所述方法包括如下步骤：

获取用户的语音信息和手势信息；

对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令；

根据所述手势信息确定手势，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的所述手势模板以及与所述手势模板一一对应的第二控制指令，根据匹配结果获得所述第二控制指令；

比对所述第一控制指令和所述第二控制指令，根据比对结果确定最终控制指令；

根据所述最终控制指令控制显控台执行对应的动作。

2.根据权利要求1所述的基于显控台的人机交互方法，其特征在于，所述对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令具体包括如下步骤：

对所述语音信息进行滤波和分帧，获得处理后的语音信息；

基于线性预测倒谱系数，对所述处理后的语音信息进行特征提取，获得特征向量；

根据所述数据库中预先存储的声学模型和语言模型对所述特征向量进行解码，获得所述第一控制指令。

3.根据权利要求1所述的基于显控台的人机交互方法，其特征在于，所述根据所述手势信息确定手势的具体实现为：

每间隔标定时间提取所述手势信息中的关键帧数据，所述关键帧数据包括手部坐标，根据不同时刻的所述关键帧数据中的所述手部坐标的相对位置和方向向量，确定所述手势。

4.根据权利要求1至3任一项所述的基于显控台的人机交互方法，其特征在于，所述根据比对结果确定最终控制指令的具体实现为：

当所述第一控制指令与所述第二控制指令相同时，确定所述最终控制指令，所述最终控制指令为所述第一控制指令。

5.根据权利要求4所述的基于显控台的人机交互方法，其特征在于，所述根据比对结果确定最终控制指令还包括如下步骤：

当所述第一控制指令与所述第二控制指令不同时，提示用户重新输入所述语音信息和所述手势信息。

6.一种基于显控台的人机交互系统，其特征在于，包括：

获取模块，获取用户的语音信息和手势信息；

语音识别模块，对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令；

手势匹配模块，根据所述手势信息确定手势，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的所述手势模板以及与所述手势模板一一对应的第二控制指令，根据匹配结果获得所述第二控制指令；

比对模块，对比所述第一控制指令和所述第二控制指令，根据比对结果确定最终控制指令；

控制模块，根据所述最终控制指令控制显控台执行对应的动作。

7.根据权利要求6所述的基于显控台的人机交互系统，其特征在于，所述语音识别模块具体用于：

对所述语音信息进行滤波和分帧，获得处理后的语音信息；

基于线性预测倒谱系数，对所述处理后的语音信息进行特征提取，获得特征向量；

根据所述数据库中预先存储的声学模型和语言模型对所述特征向量进行解码，获得所述第一控制指令。

8.根据权利要求6所述的基于显控台的人机交互系统，其特征在于，所述手势匹配模块具体用于：

每间隔标定时间提取所述手势信息中的关键帧数据，所述关键帧数据包括手部坐标，根据不同时刻的所述关键帧数据中的所述手部坐标的相对位置和方向向量，确定所述手势。

9.根据权利要求6至8任一项所述的基于显控台的人机交互系统，其特征在于，所述比对模块具体用于：

比对所述第一控制指令和所述第二控制指令，当所述第一控制指令与所述第二控制指令相同时，确定所述最终控制指令，所述最终控制指令为所述第一控制指令。

10.根据权利要求9所述的基于显控台的人机交互系统，其特征在于，所述比对模块具体还用于：

当所述第一控制指令与所述第二控制指令不同时，提示用户重新输入所述语音信息和所述手势信息。