[发明专利]一种基于混合现实的航空装备修理辅助系统及其使用方法

权利要求书

1.一种基于混合现实的航空装备修理辅助系统，其特征在于：包括用于登录认证的登录管理身份认证模块，用于演示的全息三维模型展示模块，用于讲解操作的图像、音频、视频展示模块，用于叠加现实与虚拟场景的全息三维动画叠加展示模块，用于手势交互与语音交互的手势识别交互处理模块和语音识别交互处理模块，用于扫描与匹配数据库特征信息的二维码及图像识别模块以及用于上传和保存维修记录的操作记录模块；所述登录管理身份认证模块用于验证操作人员登录身份和权限，获取对应名下工作任务和关联修理对象工艺数据包；所述全息三维模型展现模块，用于展现修理对象的全息三维模型，操作人员可通过手势与模型进行交互，包括放大、缩小、旋转、移动、半透明、分解、合并；所述图像音频视频展示模块，用于向操作人员展示包括修理对象的产品图片、原始工艺图纸、工具工装图片、操作语音提示、操作教学视频内容，便于操作人员随时查阅修理工艺中每一步具体内容；所述全息三维动画叠加展示模块，用于将操作步骤指导性操作及使用的工具，利用全息三维动画方式叠加在修理对象实物上进行播放演示，操作人员只需参照演示内容，用演示的工具在演示的部位进行操作；

所述手势识别交互处理模块，用于操作人员与系统之间通过指定手势进行交互操作，包括在空中虚拟点击进行虚拟模型的拾取、放置以及按钮的触发操作，拇指与食指捏合移动用于对虚拟模型进行移动和缩放操作；

所述语音识别交互处理模块，用于操作人员与系统之间通过指定语音指令进行交互操作；所述二维码及图像识别模块，用于扫描识别二维码或者修理对象图像信息，当识别的特征点与系统数据库匹配时，系统将加载对应的修理对象三维模型进行展示；所述操作记录模块，用于在操作过程中记录已实施的步骤，捕捉关键步骤操作画面或录制操作视频，与任务号关联作为质量记录进行上传归档。

2.根据权利要求1所述的一种基于混合现实的航空装备修理辅助系统，其特征在于：所述航空装备修理辅助系统搭载于头戴式混合现实设备。

3.一种基于混合现实的航空装备修理辅助系统的使用方法，根据权利要求1至2中任一项所述的一种基于混合现实的航空装备修理辅助系统，其特征在于：包括步骤：

s1）工艺技术人员从数字化工艺系统中导出各修理对象修理工艺并进行编辑转换，生成混合现实数据包；

s2）操作人员去现场作业前，下载修理部位或产品的任务及关联数据包到混合现实设备；

s3）操作人员到达作业现场后，佩戴混合现实设备，启动航空装备修理辅助系统，通过语音命令录入工号密码进行登录身份验证，系统展现操作人员名下修理任务，操作人员通过手势识别点选指定任务，或者通过扫描修理部位或产品标识，由系统自动识别对应修理对象，展现全息三维模型；

s4）操作人员通过手势与模型进行交互，如放大、缩小、旋转、移动、半透明、分解、合并，用于直观了解修理对象的产品结构、工作原理；

s5）操作人员通过手势虚拟点击“图片”“视频”“工具”虚拟按钮，查看修理对象的包括产品图片、原始工艺图纸、工具工装图片、操作语音提示、操作教学的视频内容；

s6）操作人员通过手势虚拟点击“操作辅助”虚拟按钮，系统将操作步骤特别是关键重要步骤指导性操作及使用的工具，利用全息三维动画方式叠加在修理对象实物上进行播放演示，操作人员只需参照演示内容，用演示的工具在演示的部位进行操作，操作人员可通过手势或语音指令切换演示步骤；

s7）操作作业结束后，操作人员通过手势在系统中确认结束任务，取下混合现实设备，回到办公场所后，上传设备操作记录；

s8）质量检查人员可查询操作步骤和操作过程拍摄图片或视频，作为产品质量追溯依据。