[发明专利]基于语音和手势识别的多模态非触摸人机交互方法及系统

摘要

本发明公开了一种基于语音和手势识别的多模态非触摸人机交互方法及系统，在基本的语音识别、手势识别的基础上，通过定义语音和手势的联合语义表示，基于语音识别和手势识别进行语义理解、融合以及多通道信息冲突处理，基于领域先验知识和对话上下文信息优化语音识别和手势识别的语义空间搜索空间，最终基于多轮次交互对用户意图进行理解，提供非常便利、自然的人机交互方式，具有可靠性高、交互成功率高和资源消耗低的优点。

主权项

一种基于语音和手势识别的多模态非触摸人机交互方法，其特征在于，包括以下步骤：S1、解析用户输入的语音或手势，确定用户意图；S2、根据用户意图制定语音与手势的联合语义表示，建立语义搜索空间和手势搜索空间的映射；S3、当语音和手势多路输入同时存在时，融合语音和手势识别的语义，根据对话的状态切换两种不同的输入通道，处理多路输入冲突时的语义解析；S4、优化缩小语音识别和手势识别的语义搜索空间，最终得到用户的真实意图。