[发明专利]一种面向车间数字孪生的增强现实系统及方法

权利要求书

1.一种面向车间数字孪生的增强现实系统，包括物理车间和车间数字孪生系统，所述车间数字孪生系统输出数字孪生信息，其特征在于，还包括如下模块：

摄像头组：固定于物理车间内，采集物理车间当前状态的视频图像；

图像采集模块：采集用户选择的摄像头所拍摄的车间视频图像；

车间三维模型标注模块：构建物理车间的虚拟三维模型，其中，使用代理形状体构建物理车间中设备的虚拟三维模型，各所述代理形状体代表物理车间内设备的空间形状和位置，然后对各代理形状体进行标注，建立标注与设备标识的一一对应关系，生成车间三维标注模型；

设备识别模块：根据用户设置，对需要显示设备信息的设备进行识别，具体地，从所述车间视频图像中获取当前帧图像，根据所述三维标注模型中各代理形状体与当前帧图像中设备之间的位置对应关系以及各代理形状体的标注，识别当前帧图像中需要识别的设备所对应的设备标识以及该些设备在当前帧图像上的成像区域；

数据查询及AR注册模块：根据设备标识查询车间数字孪生系统，获取到对应的数字孪生信息，同时，根据每个设备在当前帧图像上的成像区域，确定各设备的信息显示区域；

AR显示模块：将设备的数字孪生信息叠加在当前帧图像上该设备的信息显示区域上，从而实现车间设备信息的AR显示。

2.根据权利要求1所述的一种面向车间数字孪生的增强现实系统，其特征在于：所述摄像头组包括安装在不同区域的多个摄像头，每个摄像头包括镜头、图像传感器、云台以及图像传感器姿态检测模块，所述云台用以控制图像传感器的方位，所述图像传感器姿态检测模块用于检测图像传感器的方向；

所述图像采集模块还采集当前选择的摄像头的图像传感器的位置以及图像传感器的姿态；

所述设备识别模块获取到所述图像传感器的位置和姿态，将该些信息发送至所述车间三维模型标注模块；

所述车间三维模型标注模块根据物理车间坐标系和车间三维标注模型坐标系之间的转换关系设置当前选择的虚拟摄像头的虚拟图像传感器的位置和姿态，使车间三维标注模型中的虚拟成像模型与物理车间的成像模型一致，根据相机成像模型合成车间三维标注模型的虚拟合成图像；

所述识别模块根据虚拟合成图像和当前帧图像的成像模型、成像位置以及成像姿态的一致性，确定虚拟合成图像中代理形状体与当前帧图像中设备的位置对应关系，根据用户设置的需要识别的设备，读取其在虚拟合成图像中对应代理形状体的标注，根据标注确定当前帧图像中该设备的设备标识和成像区域。

3.根据权利要求2所述的一种面向车间数字孪生的增强现实系统，其特征在于：所述物理车间坐标系和车间三维标注模型坐标系之间的转换关系为等同关系，具体地：所述车间三维模型标注模块还执行：统一所述车间三维标注模型坐标系和物理车间坐标系，使物理车间的设备坐标与车间三维标注模型中对应的代理形状体坐标一致，使物理车间的各摄像头的坐标与车间三维标注模型中对应的虚拟摄像头坐标一致。

4.根据权利要求1至3的任意一项所述的一种面向车间数字孪生的增强现实系统，其特征在于：所述标注为颜色标注，不同设备对应的代理形状体渲染不同的颜色，建立颜色与设备标识之间的一一映射关系；根据虚拟合成图像中代理形状体与当前帧图像中设备的位置对应关系，读取像素的颜色值确定当前帧图像中该颜色值对应的设备的设备标识，根据该颜色值像素所在的区域范围确定当前帧图像中该设备的成像区域。

5.根据权利要求1所述的一种面向车间数字孪生的增强现实系统，其特征在于：还包括车间信息显示设置模块和AR信息显示界面库，所述AR显示界面库定义了多种类型的显示界面，所述车间信息显示设置模块用于设置每个设备参数和/或数字孪生信息的显示界面类型及该界面显示的信息或参数；所述数据查询及AR注册模块获取到设备的数字孪生信息以及确定设备的信息显示区域后，还根据所述车间信息显示设置模块中对该设备的设置，将显示界面类型、信息显示区域以及需要显示的信息或参数发送至AR显示模块；所述AR显示模块从AR信息显示界面库中获取对应类型的显示界面，将该显示界面叠加在当前帧图像中该设备的信息显示区域上，通过该显示界面显示设备的信息或参数。