[发明专利]基于视觉和力觉触觉增强现实的工业人机交互系统及方法

权利要求书

1.基于视觉和力觉触觉增强现实的工业人机交互系统，其特征在于，包括被控设备、增强现实智能设备以及穿戴在操作者指尖或者由操作者手持的指尖力觉/触觉反馈设备；

所述增强现实智能设备运行被控设备App，并将被控设备App软件界面叠加在物理环境上显示，利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备App软件界面是否碰撞，若未碰撞，则向被控设备App发送未碰撞指令；若碰撞，则向被控设备App发送界面碰撞指令和碰撞点，被控设备App解析碰撞指令和碰撞点，生成鼠标指令，执行所述鼠标指令生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备App软件界面间的人机交互；发生碰撞时，向被控设备App发送界面碰撞指令和碰撞点的同时，还向指尖力觉/触觉反馈设备发送界面碰撞指令；所述指尖力觉/触觉反馈设备接受到界面碰撞指令后给操作者以力觉/触觉反馈，以提示操作者已完成点击动作；未发生碰撞时，向被控设备App发送未碰撞指令的同时，也向指尖力觉/触觉反馈设备发送未碰撞指令；

被控设备App还接收并解析被控设备发送的信息，然后显示在其软件界面上；

还包括用于提供下载被控设备App的云服务器，所述增强现实智能设备还包括App管理软件，在所述增强现实智能设备上先运行所述App管理软件，进而通过所述App管理软件查找并运行被控设备App；所述App管理软件包括App数据存储表、增强现实注册模块、与指尖力觉/触觉反馈设备交互的交互模块、被控设备代号输入模块；

所述App数据存储表存储被控设备代码与被控设备App之间的映射关系；

所述被控设备代号输入模块用于输入被控设备的代号，根据代号查询被控设备App，若存在于所述增强现实智能设备，则启动并运行该被控设备App，隐藏App管理软件界面；若不存在，则访问所述云服务器，从云服务器上下载该被控设备App，并将被控设备代号和对应的被控设备App名称添加到App数据存储表中，启动运行该被控设备App，隐藏App管理软件界面；

所述增强现实注册模块将被控设备App软件界面以及App管理软件界面叠加在物理环境中显示；

所述交互模块利用增强现实智能设备上的传感器采集指尖力觉/触觉反馈设备的图像并计算指尖力觉/触觉反馈设备在传感器坐标上的位置，然后在增强现实智能设备所呈现的虚拟环境中以代理点表示指尖力觉/触觉反馈设备所在位置；根据代理点的位置和被控设备App软件界面在增强现实智能设备所呈现的虚拟环境中的显示方位，检测是否碰撞的过程为：若代理点接触或者穿透所述被控设备App软件界面，则发生碰撞，则由交互模块生成鼠标指令，然后向被控设备App发送界面碰撞指令和鼠标指令，若代理点位于操作者与被控设备App软件界面之间，则未发生碰撞。

2.根据权利要求1所述的基于视觉和力觉触觉增强现实的工业人机交互系统，其特征在于：被控设备的代号输入方式包括扫描条形码、二维码、设备图像识别以及指尖力觉/触觉反馈设备位置跟踪输入。

3.根据权利要求1所述的基于视觉和力觉触觉增强现实的工业人机交互系统，其特征在于：所述鼠标指令生成过程为：将当前发生的碰撞还结合上一次发生碰撞的时间间隔和碰撞点，生成单击、双击以及拖拽的鼠标指令：若两次发生碰撞的碰撞点间的距离小于距离阈值、间隔时间小于时间阈值且两次碰撞之间有检测到未碰撞，即碰撞-未碰撞-碰撞，则解析为双击鼠标指令；若检测到碰撞-未碰撞，且在后续的预设的时间段内未检测到碰撞，则解析为鼠标单击指令；若一直检测到碰撞，则解析为拖拽鼠标指令，界面拖拽区域为第一碰撞点到当前碰撞点。

4.根据权利要求1所述的基于视觉和力觉触觉增强现实的工业人机交互系统，其特征在于：被控设备App接收到碰撞指令后，在碰撞点显示设定的图形或动画，从视觉上提示操作者。