[发明专利]一种面向车间数字孪生的增强现实系统及方法

说明书

本发明涉及一种面向车间数字孪生的增强现实系统及方法，包括物理车间、车间数字孪生系统，摄像头组、图像采集模块、车间三维模型标注模块、设备识别模块、数据查询及AR注册模块和AR显示模块，通过摄像头组采集车间视频图像，通过设备识别确定视频图像中包含的设备，并利用增强现实技术将数字孪生信息动态叠加在视频图像上设备图像区域或附近，从而实现车间设备信息的AR显示。本发明不需要建立物理车间系统的复杂三维模型，使用视频图像代替车间三维模型显示，画面显示更流畅；能够设置各设备信息的是否显示、显示界面类型、界面参数等，显示方式更灵活，操作更简便；能够判断鼠标所指设备标识，并显示该设备的相关信息。

技术领域

本发明涉及一种面向车间数字孪生的增强现实系统及方法，属于智能制造领域。

背景技术

当前的智能工厂和智能车间数字孪生模型需要建立车间的复杂三维模型，然后将车间数字孪生系统生成的数字孪生信息显示在与车间设备对应的三维模型上，整个建模过程工作极大，而且，一旦车间结构发生变动，就需要改变其三维模型，因此后期维护工作量也大，渲染复杂模型时占用的计算资源较大。

发明内容

为了解决上述技术问题，本发明提供一种面向车间数字孪生的增强现实系统，其不需要建立物理车间系统的复杂三维模型，在车间视频图像上叠加显示设备信息，开发周期短且显示效果可灵活设置。

本发明技术方案如下：

一种面向车间数字孪生的增强现实系统，包括物理车间和车间数字孪生系统，所述车间数字孪生系统输出数字孪生信息，还包括如下模块：摄像头组：固定于物理车间内，采集物理车间当前状态的视频图像；图像采集模块：采集用户选择的摄像头所拍摄的车间视频图像；车间三维模型标注模块：构建物理车间的虚拟三维模型，其中，使用代理形状体构建物理车间中设备的虚拟三维模型，各所述代理形状体代表物理车间内设备的空间形状和位置，然后对各代理形状体进行标注，建立标注与设备标识的一一对应关系，生成车间三维标注模型；设备识别模块：根据用户设置，对需要显示设备信息的设备进行识别，具体地，从所述车间视频图像中获取当前帧图像，根据所述三维标注模型中各代理形状体与当前帧图像中设备之间的位置对应关系以及各代理形状体的标注，识别当前帧图像中需要识别的设备对应的设备标识以及该些设备在当前帧图像上的成像区域；数据查询及AR注册模块：根据设备标识查询车间数字孪生系统，获取到对应的数字孪生信息，同时，根据每个设备在当前帧图像上的成像区域，确定各设备的信息显示区域；AR显示模块：将设备的数字孪生信息叠加在当前帧图像上该设备的信息显示区域上，从而实现车间设备信息的AR显示。

更优地，所述摄像头组包括安装在不同区域的多个摄像头，每个摄像头包括镜头、图像传感器、云台以及图像传感器姿态检测模块，所述云台用以控制图像传感器的方位，所述图像传感器姿态检测模块用于检测图像传感器的方向；所述图像采集模块还采集当前选择的摄像头的图像传感器的位置以及图像传感器的姿态；所述设备识别模块获取到所述图像传感器的位置和姿态，将该些信息发送至所述车间三维模型标注模块；所述车间三维模型标注模块根据物理车间坐标系和车间三维标注模型坐标系之间的转换关系设置当前选择的虚拟摄像头的虚拟图像传感器的位置和姿态，使车间三维标注模型中的虚拟成像模型与物理车间的成像模型一致，根据相机成像模型合成车间三维标注模型的虚拟合成图像；所述识别模块根据虚拟合成图像和当前帧图像的成像模型、成像位置以及成像姿态的一致性，确定虚拟合成图像中代理形状体与当前帧图像中设备的位置对应关系，根据用户设置的需要识别的设备，读取其在虚拟合成图像中对应代理形状体的标注，根据标注确定当前帧图像中该设备的设备标识和成像区域。

更优地，所述物理车间坐标系和车间三维标注模型坐标系之间的转换关系为等同关系，具体地：所述车间三维模型标注模块还执行：统一所述车间三维标注模型坐标系和物理车间坐标系，使物理车间的设备坐标与车间三维标注模型中对应的代理形状体坐标一致，使物理车间的各摄像头的坐标与车间三维标注模型中对应的虚拟摄像头坐标一致。