[发明专利]一种基于显控台的人机交互方法及系统

说明书

本发明涉及一种基于显控台的人机交互方法及系统，所述方法包括如下步骤：获取用户的语音信息和手势信息；对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令；根据所述手势信息确定手势，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的手势模板以及与所述手势模板一一对应的第二控制指令，根据匹配结果获得所述第二控制指令；比对所述第一控制指令和所述第二控制指令，根据比对结果确定最终控制指令；根据所述最终控制指令控制显控台执行对应的动作。本发明的技术方案能够提高人机交互的便捷性和安全性。

技术领域

本发明涉及人机交互技术领域，尤其涉及一种基于显控台的人机交互方法及系统。

背景技术

显控台作为军用、交通等领域的电子装备信息平台，采用计算机信息处理技术、显示技术、触控技术和人机交互技术等，用于完成设备电源管理、图像显示和操作控制，可实现相关场景的态势显示、图形标绘、方案推演、动作捕捉和动态数据展示，具有人机交互性强、模块化程度高、舒适度好等优势，在军用、交通等领域的指挥控制系统中发挥重要作用。现有的显控台大多通过显示器、键盘、鼠标或触摸屏完成人机交互。但是，一方面，需要借助键盘、鼠标等辅助设备，人机交互不够便捷；另一方面，只需通过点击等输入就能实现控制，交互过程不够安全，存在安全隐患。

发明内容

针对上述现有技术的不足，本发明提供一种基于显控台的人机交互方法及系统。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明提供了一种基于显控台的人机交互方法，所述方法包括如下步骤：

获取用户的语音信息和手势信息。

对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令。

根据所述手势信息确定手势，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的所述手势模板以及与所述手势模板一一对应的第二控制指令，根据匹配结果获得所述第二控制指令。

比对所述第一控制指令和所述第二控制指令，根据比对结果确定最终控制指令。

根据所述最终控制指令控制显控台执行对应的动作。

第二方面，本发明提供了一种基于显控台的人机交互系统，其特征在于，包括：

获取模块，获取用户的语音信息和手势信息。

语音识别模块，对所述语音信息进行语音识别，获得与所述语音信息对应的第一控制指令。

手势匹配模块，根据所述手势信息确定手势，将所述手势与数据库中的手势模板进行匹配，所述数据库中包括多个不同的所述手势模板以及与所述手势模板一一对应的第二控制指令，根据匹配结果获得所述第二控制指令。

比对模块，比对所述第一控制指令和所述第二控制指令，根据比对结果确定最终控制指令。

控制模块，根据所述最终控制指令控制显控台执行对应的动作。

本发明的基于显控台的人机交互系统及方法的有益效果是：获取用户的语音信息和手势信息，可通过不同的通道输入用户的语音信息和手势信息，能够避免信息冲突，对语音信息进行语音识别，确定用户的意图，获得与该语音信息对应的第一控制指令，并根据手势信息确定用户的手势，将手势与数据库中的手势模板进行匹配，能够快速确定与该手势信息对应的第二控制指令。比对第一控制指令和第二控制指令，当第一控制指令与第二控制指令相同时，确定第一控制指令为最终控制指令，当第一控制指令与第二控制指令不同时，可提示用户重新输入语音信息和手势信息，根据最终控制指令就可控制显控台执行对应的动作。本发明中通过语音和手势进行交互，不需另外设置辅助设备，简单便捷，并且将语音信息对应的第一控制指令和手势信息对应的第二控制指令进行对比，只有两个控制指令相同时，确定最终控制指令，能够有效保证交互过程中的安全。