[发明专利]基于视觉和力觉触觉增强现实的工业人机交互系统及方法

说明书

本发明涉及一种基于视觉和力觉触觉增强现实的工业人机交互系统，包括被控设备、增强现实智能设备以及穿戴在操作者指尖或者由操作者手持的指尖力觉/触觉反馈设备；所述增强现实智能设备运行被控设备App，并将被控设备App软件界面叠加在物理环境上显示，利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备App软件界面是否碰撞，若碰撞，则向被控设备App发送界面碰撞指令和碰撞点，被控设备App解析碰撞指令和碰撞点，生成鼠标指令，执行鼠标指令生成对应的设备操作指令，将设备操作指令发送给被控设备，从而实现操作者与被控设备App软件界面间的人机交互。

技术领域

本发明涉及一种基于视觉和力觉触觉增强现实的工业人机交互系统及方法，属于人机交互和工业测量控制领域。

背景技术

当前工业现场有很多人机界面，包括工业触摸屏、仪表等，这些人机界面通常与设备直接连接，每台设备都需要一个人机交互界面，系统集成时间长、成本高、灵活性低。

公开号为CN 107506037 A的发明专利《一种基于增强现实的控制设备的方法和装置》，该技术方案检测用户眼球聚焦一设备时，确定该设备为待识别的设备，进而用户通过智能交互方式对目标设备信息中的控制菜单进行操作。该方案必须使用户与设备位于相同的位置空间内，才能使眼球注视到被控制设备，人机交互过程依然受到空间限制，无法使人机交互摆脱空间限制随人走动，且识别图像处理过程复杂。除此之外，该技术方案的智能交互方式无法将交互有效性及时反馈给用户，即无法及时获知用户的操作是否已被系统识别。

本发明旨在发明一种基于视觉和力觉/触觉增强现实的工业人机交互系统及方法，以克服上述缺点。

发明内容

为了解决上述技术问题，本发明提供一种基于视觉和力觉触觉增强现实的工业人机交互系统，其替代传统工业的触摸屏，提高人机交互的便利性，且能够及时反馈交互的有效性。

本发明的技术方案如下：

基于视觉和力觉触觉增强现实的工业人机交互系统，包括被控设备、增强现实智能设备以及穿戴在操作者指尖或者由操作者手持的指尖力觉/触觉反馈设备；

所述增强现实智能设备运行被控设备App，并将被控设备App软件界面叠加在物理环境上显示，利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备App软件界面是否碰撞，若未碰撞，则向被控设备App发送未碰撞指令；若碰撞，则向被控设备App发送界面碰撞指令和碰撞点，被控设备App解析碰撞指令和碰撞点，生成鼠标指令，执行所述鼠标指令生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备App软件界面间的人机交互。

更优地，发生碰撞时，向被控设备App发送界面碰撞指令和碰撞点的同时，还向指尖力觉/触觉反馈设备发送界面碰撞指令；所述指尖力觉/触觉反馈设备接受到界面碰撞指令后给操作者以力觉/触觉反馈，以提示操作者已完成点击动作；未发生碰撞时，向被控设备App发送未碰撞指令的同时，也向指尖力觉/触觉反馈设备发送未碰撞指令；

被控设备App还接收并解析被控设备发送的信息，然后显示在其软件界面上。

更优地，所述工业人机交互系统还包括用于提供下载被控设备App的云服务器，所述增强现实智能设备还包括App管理软件，在所述增强现实智能设备上先运行所述App管理软件，进而通过所述App管理软件查找并运行被控设备App；所述App管理软件包括App数据存储表、增强现实注册模块、与指尖力觉/触觉反馈设备交互的交互模块、被控设备代号输入模块；

所述App数据存储表存储被控设备代码与被控设备App之间的映射关系；