[发明专利]一种多模态人机交互系统及交互方法

摘要

本发明揭示了一种多模态人机交互系统，包括非接触式指令采集单元和指令响应单元，其中，非接触式指令采集单元包括手势指令采集模块、眼动指令采集模块、及语音指令采集模块，指令响应单元包括接口处理模块、指令融合模块及融合信息处理模块。交互过程中，进行非接触式指令采集，手势、眼动、语音指令由指令融合模块生成融合指令，融合信息处理模块接收融合指令或语音指令，转换为协议指令经接口处理模块输出。本发明具备三种非接触指令的指令融合功能，人机互动自然化，且指令输出可靠稳定。热区的建立能提供可靠的抗指令干扰性、及预测性，更人性化，使融合指令更精确。高度集成化，整体交互为非接触式作业，适于机载，满足繁多人机交互需求。

主权项

1.一种多模态人机交互系统，其特征在于包括：非接触式指令采集单元，用于采集非接触式指令，所述非接触式指令采集单元包括用于获取手势指令的手势指令采集模块、用于获取眼动指令的眼动指令采集模块、及用于获取语音指令的语音指令采集模块；指令响应单元，用于接收非接触式指令采集单元的指令信息，并进行指令信息处理后输出至机响应端，所述指令响应单元包括接口处理模块、指令融合模块及融合信息处理模块，所述接口处理模块分别与非接触式指令采集单元、指令融合模块及融合信息处理模块相通讯连接，所述融合信息处理模块分别与接口处理模块、语音指令采集模块相通讯连接，其中，所述指令融合模块用于将所述非接触式指令采集单元中至少两个采集模块的采集指令进行融合生成融合指令，所述融合信息处理模块用于接收指令融合模块的融合指令或语音指令采集模块的语音指令，并将融合指令或语音指令转为协议指令，所述接口处理模块用于接收非接触式指令采集单元并传输至指令融合模块中、及用于将融合信息处理模块的协议指令输出。