[发明专利]一种基于AR引导的人机交互系统

说明书

本发明公开了一种基于AR引导的人机交互系统，该基于AR人机交互系统与机械臂和服务器进行无线通信，可用于线下的实时培训资料学习，工人可在任何时间与地点进行学习，并且不需要来回翻阅大量的纸质文档，可通过语音或文字输入方式来查阅相关文档，对于学习过程中出现的任何问题都可实时记录并反应到后台服务器端，相关专家可对工作人员学习过程中遇到的问题作出反馈；线上的装配过程的三维引导，即在正式的装配过程中可通过三维装配动画进行装配过程的引导。在实际的装配过程中，显示当前工序的装配动画以及注意事项，同时AR眼镜上的摄像头会对整个装配过程进行实施录像，后台也可以实时以第一人称视角观察当前工人的装配情况。

技术领域

本发明涉及人机交互领域，具体来讲是一种基于AR引导的人机交互系统。

背景技术

（1）传统的装配过程主要是依靠工人经验进行零件的装配，经验不足的工人在装配过程中容易出错。

（2）工人技术水平参差不齐，培养合格的维修人员花费的时间长，特别是针对新来的工人尤为明显。

（3）大部分装配资料都是纸质文档，不便于工人的实时查阅。

（4）通常情况下都是事先熟悉好相关的装配流程，在实际的装配过程中很少翻阅技术文档，对工人的学习与记忆能力要求高。

（5）对于装配过程中出现的特殊情况不能够及时的反映到后台进行处理，只能当时在现场做记录，事后在提交到相关处理中心。

（6）装配批次较多时，需要灵活的在多个装配工艺文件之间来回切换，大脑容易疲倦。

（7）装配技术文档为静态图片和文字显示，不能够进行三维装配过程展示，对于特定的装配过程有相关的装配注意事项时，头脑不能够及时的反映过来，导致装配的产品不合格。

发明内容

因此，为了解决上述不足，本发明在此提供一种基于AR引导的人机交互系统；本发明对应的基于AR人机交互系统可用于线下的实时培训资料学习，工人可在任何时间与地点进行学习，并且不需要来回翻阅大量的纸质文档，可通过语音或文字输入方式来查阅相关文档，对于学习过程中出现的任何问题都可实时记录并反应到后台服务器端，相关专家可对工作人员学习过程中遇到的问题作出反馈；线上的装配过程的三维引导，即在正式的装配过程中可通过三维装配动画进行装配过程的引导。

本发明是这样实现的，构造一种基于AR引导的人机交互系统，其特征在于：该基于AR人机交互系统与机械臂和服务器进行无线通信，可用于线下的实时培训资料学习，工人可在任何时间与地点进行学习，并且不需要来回翻阅大量的纸质文档，可通过语音或文字输入方式来查阅相关文档，对于学习过程中出现的任何问题都可实时记录并反应到后台服务器端，相关专家可对工作人员学习过程中遇到的问题作出反馈；线上的装配过程的三维引导，即在正式的装配过程中可通过三维装配动画进行装配过程的引导；

该系统预留有相关接口，能够与服务器与机械臂进行交互，能够发送命令读取服务器相关文件资料，向服务器推送当前工位的装配进度，以及装配过程中出现的异常情况；可发送相关命令控制机械臂的运动，实现抓取相应的零件；

该系统可实现手动点击按钮或发送语音命令获取相应装配零件的三维效果展示以及装配动画的播放和相关文档的查询与阅读。

根据本发明所述一种基于AR引导的人机交互系统，其特征在于：AR人机交互系统基于AR的装配引导流程如下：

（1）打开AR装配引导软件应用，工作人员根据自己所在装配部门提供的用户名与密码登录该系统，该系统会自动加载当前装配过程所需的装配文件；

（2）工作人员选择需要进行装配的工位序号，选择完成后系统会自动进入到所选工位的引导界面，显示所选工位的装配动画与零件图；

（3）工作人员选择交互方式：