[发明专利]一种基于增强现实技术的人工辅助装配应用系统

权利要求书

1.一种基于增强现实技术的人工辅助装配应用系统，其特征在于：

所述人工辅助装配应用系统包括内容编辑子系统及实时引导子系统，所述内容编辑子系统面向工艺设计人员，其用于提供工艺可视化的交互界面，并输出增强装配工艺步骤文件给所述实时引导子系统；所述实时引导子系统用于对接收到的所述增强装配工艺步骤文件进行解析，并结合现场的摄像机、显示器及处理器输出虚实融合的装配引导视频，以引导现场工人的装配操作；

所述实时引导子系统通过渲染图差异分析来处理虚实遮挡关系，以将真实零件与虚拟零件的虚实遮挡关系转换成真实零件的三维模型与虚拟零件的虚实遮挡关系。

2.如权利要求1所述的基于增强现实技术的人工辅助装配应用系统，其特征在于：所述摄像头用于实时获取现场装配的真实视频，并将得到的真实视频传输给所述处理器；所述处理器对所述增强装配工艺步骤文件进行解析以得到虚拟信息，并将得到的所述虚拟信息与真实视频进行实时融合以输出虚实共存的实时画面给所述显示器；所述显示器用于将接收到的所述实时画面进行显示以为装配工人提供操作提示。

3.如权利要求1所述的基于增强现实技术的人工辅助装配应用系统，其特征在于：所述增强装配工艺步骤文件以XML格式保存，并以节点存储工艺信息及对应的可视化方式信息。

4.如权利要求1所述的基于增强现实技术的人工辅助装配应用系统，其特征在于：虚实融合的虚实遮挡关系采用渲染图差异比较法处理，以获取包含遮挡关系的渲染图和无遮挡关系的渲染图，进而提取包含遮挡关系的渲染图与无遮挡关系的渲染图之间的差异区域并填充真实视频像素，由此所述实时引导子系统输出包含正确虚实遮挡关系的虚实融合画面。

5.如权利要求4所述的基于增强现实技术的人工辅助装配应用系统，其特征在于：处理虚实遮挡关系时，所述实时引导子系统采用轻量化的装配产品模型重建装配体，并通过设置隐藏零件来模拟真实零件与虚拟零件的关系，以将虚拟零件与真实零件的虚实遮挡关系转换成虚拟零件与真实零件的虚拟模型的虚实遮挡关系。

6.如权利要求4所述的基于增强现实技术的人工辅助装配应用系统，其特征在于：所述实时引导子系统采用黑白方格二维标志作为所述摄像机标定的标志，选定所述标志的四个角点作为特征点，并通过预处理、备选区域检测、分析连通域及标志物彷射变换来识别标志物。

7.如权利要求6所述的基于增强现实技术的人工辅助装配应用系统，其特征在于：所述实时引导子系统结合标定点的二维坐标及三维坐标、以及所述摄像头的内参数采用OpenCV接口计算真实摄像头外参数，并输出旋转矩阵及平移矩阵，同时将得到的参数赋值到三维场景的虚拟摄像头中，使得虚拟摄像头的视野与真实摄像头的视野保持一致。

8.如权利要求1-7任一项所述的基于增强现实技术的人工辅助装配应用系统，其特征在于：所述实时引导子系统还用于播放增强装配工艺步骤文件的语音节点文本，且通过按钮重复语音播报以为用户提供听觉上的引导提示。

9.如权利要求1-7任一项所述的基于增强现实技术的人工辅助装配应用系统，其特征在于：所述内容编辑子系统通过具体装配产品的不同，以装配产品设计和装配工艺设计阶段获取的信息作为输入以建立基本装配工艺库及可视化信息库。

10.如权利要求1-9任一项所述的基于增强现实技术的人工辅助装配应用系统，其特征在于：所述内容编辑子系统输入的零件位姿信息XML文件是采用CAD二次开发的模块获得的，所述零件位姿信息XML文件反映各零件在整个装配体中的空间位置信息，其描述了各零件相对于总坐标系的相对位置关系。