[发明专利]面向加工过程监控的混合现实交互方法

说明书

本发明涉及面向加工过程监控的混合现实交互方法。尤其涉及在数控加工过程中，通过配带混合现实眼镜设备，能够实现虚拟机床设备在车间固定位置处摆放以实现车间布局验证，以及在真实机床旁边的固定位置处全息显示加工过程监控数据，并可以实现随操作者视向移动而移动。设计一组多个机床三维模型并生成多个机床模型文件。创建一个场景工程文件，混合现实显示信息写入该文件中。将该场景工程文件和对应的多个机床模型文件上传至混合现实眼镜设备中并进行解析。对场景工程文件包括的一组多个机床三维模型进行全息显示。采用本发明，能够在真实的车间现场设备旁，直观的观看该机床的加工数据，可以将虚拟机床放置于真实车间空间内，便于布局的验证。

技术领域

本发明涉及一种混合现实交互技术，具体涉及一种面向加工过程监控的混合现实交互方法。

背景技术

增强现实是虚拟现实的一个分支，其区别在于能够将虚拟世界和真实世界融合在一起，提升可视化和人机交互的水平。混合现实又是增强现实的一种增强形式，其区别与传统的虚拟物体与真实世界视频简单叠加，能够通过摄像头和深度传感器，感知周围空间和重构空间网格结构，并将虚拟实体放入重构的空间结构中，即相当于放入真实的世界空间中，形成虚实高度融合的增强现实模式。典型设备是以微软公司的Hololens眼镜为例，通过混合现实设备和应用软件的配合，能够形成新型人机交互和可视化方法，可应用于工业制造领域。通过头戴式混合现实眼镜可将生产线的数控机床三维模型，全息的放置在真实车间内，仿真验证车间设备布局的合理性；也可在车间巡检过程中，在真实机床空间处全息显示该机床的加工过程数据，如机床运行状态、主轴倍率、进给率、报警信息等，在现实车间场景中增强信息并易于交互。为实现上述需求，需要应用模型数据交互、空间坐标变换等技术。

发明内容

针对上述技术要求，本发明目是提供一种面向加工过程监控的混合现实交互方法。

采用本方法并使用可穿戴式混合现实眼镜设备，能够将采用CAD系统产生的标准格式数控机床三维模型文件(如STL、FBX等文件)，导入混合现实眼镜中以实现机床虚拟模型的全息显示，并实现虚拟机床模型与真实车间空间的高度融合，可将机床模型固定放置在真实车间的任意位置处，也可以跟随操作者视向移动，可对全息模型进行缩放、自由移动、自由旋转等操作。同时可将机床加工过程监控数据以全息UI形式固定在对应的真实机床处，可将通用的操作菜单始终显示与眼前，并可以随着操作者视向而移动。

本发明解决其技术问题所采用的技术方案是：面向加工过程监控的混合现实交互方法，包括以下步骤：

采用CAD系统构建一组多个机床三维模型并生成多个机床模型文件；创建场景工程文件，将一组多个机床的混合现实显示信息写入该文件中；

将该场景工程文件和对应的多个机床模型文件上传至混合现实眼镜设备中，并对该场景工程文件进行解析，得到混合现实显示信息；

通过混合现实显示信息，混合现实眼镜设备对场景工程文件含有的一组多个机床三维模型进行全息显示，实现混合现实的交互。

所述对该场景工程文件进行解析包括以下步骤：

通过解析场景工程文件中的XML结构，将场景中的机床及其属性加载至混合现实眼镜内存中的场景树结构中；

所述场景树结构为一个多叉树的数据结构，多叉树根节点表示场景，其属性为该场景包含的机床模型数量、全息显示的定位模式以及每个机床模型的存储地址。

所述混合现实显示信息包括该含有机床或显示面板对象的编号id及其对应的属性信息，属性包括，该含有机床或显示面板对象对应的模型文件名字name、相对路径path、文件大小size、渲染的颜色color、渲染的初始比例scale、渲染的初始位置变换tanslation、场景中的名称objectName和中心点标志centerFlg。根据场景工程文件中的定位模式，对机床三维模型和加工过程监控数据UI面板进行定位显示。