[发明专利]一种基于语音和手势的多通道人机交互方法

权利要求书

1.一种基于语音和手势的多通道人机交互方法，其特征在于，包括以下步骤：

步骤一、构建语音通道和手势通道，并分别通过语音通道和手势通道对人机交互的指称对象进行语音信息和手势信息的输入；

步骤二、从上述语音信息中提取语音指称对象约束信息，从上述手势信息中提取手势指称对象约束信息，其中，所述手势指称对象约束信息包括当前指点手势所限定的指点区域内的任一点到达指点手势的指点中心的距离统计量以及上述指点手势所维持的时间统计量；

步骤三、将上述语音指称对象约束信息及手势指称对象约束信息与虚拟环境中模型对象的特征信息进行对比，确定出人机交互的指称对象，从上述语音指称对象约束信息中提取对指称对象的命令信息，将命令信息作用于指称对象，完成一次人机交互。

2.如权利要求1所述的基于语音和手势的多通道人机交互方法，其特征在于，所述虚拟环境中的模型对象被划分为指点对象、聚焦对象、激活对象以及沉寂对象四类，所述指点对象为位于当前指点手势所限定的指点区域内的对象，所述聚焦对象为在上一次人机交互过程中所被确定的指称对象，所述激活对象为位于可视范围内的除指点对象和激活对象以外的模型对象，所述沉寂对象为位于不可视范围内的除指点对象和激活对象以外的模型对象，在步骤三中，将上述语音指称对象约束信息及手势指称对象约束信息按顺序逐一与上述指点对象、聚焦对象、激活对象、沉寂对象的特征信息进行对比，确定出人机交互的指称对象。

3.如权利要求1所述的基于语音和手势的多通道人机交互方法，其特征在于，在所述步骤二中，

从上述语音信息中提取语音指称对象约束信息和从上述手势信息中提取手势指称对象约束信息是通过以下方式实现的：

构建多通道分层整合模型，所述多通道分层整合模型包括有四层，分别为物理层、词法层、语法层和语义层，其中，所述物理层接收分别由语音通道和手势通道输入的语音信息和手势信息，所述词法层包括有语音识别解析模块和手势识别解析模块，所述语音识别解析模块将物理层的语音信息解析为语音指称对象约束信息，所述手势识别解析模块将物理层的手势信息解析为手势指称对象约束信息。

4.如权利要求3所述的基于语音和手势的多通道人机交互方法，其特征在于，所述步骤三中，

将上述语音指称对象约束信息及手势指称对象约束信息与虚拟环境中模型对象的特征信息进行对比，确定出人机交互的指称对象，所述指称对象的确定是在所述语法层上实现的，

从上述语音指称对象约束信息中提取对指称对象的命令信息是通过以下方式实现的：

所述语法层从语音指称对象约束信息中提取命令信息，

将命令信息作用于指称对象是通过以下方式实现的：

所述语义层将语法层所提取的命令信息作用于指称对象。

5.如权利要求4所述的基于语音和手势的多通道人机交互方法，其特征在于，所述多通道分层整合模型还包括有任务槽，所述任务槽包括命令表项以及指称对象表项，

其中所述语义层将语法层所提取的命令信息作用于指称对象是通过以下方式进行的：

所述语义层将语法层所提取的命令信息填入命令表项，将指称对象填入指称对象表项，所述任务槽被填充完整，所述多通道分层整合模型生产系统可执行命令。

6.如权利要求5所述的基于语音和手势的多通道人机交互方法，其特征在于，在所述任务槽未填充完整的情况下，设置等待时间，所述任务槽在等待时间内被填充完整，则继续此次人机交互，所述任务槽在等待时间内未被填充完整，则放弃此次人机交互。

7.如权利要求5所述的基于语音和手势的多通道人机交互方法，其特征在于，所述命令表项包括有动作表项和参数表项，所述语音指称对象约束信息中提取对指称对象的命令信息时，所述命令信息包括动作信息和参数信息。

8.如权利要求1所述的基于语音和手势的多通道人机交互方法，其特征在于，所述步骤一中，在语音通道接收到第一个语句时，开始一次人机交互过程。

9.如权利要求1所述的基于语音和手势的多通道人机交互方法，其特征在于，所述步骤一中，在语音通道接收到一个语句时，设置超时时间以接收手势通道的手势信息的输入，如手势信息的输入超出所设超时时间，则放弃此次人机交互过程。