[发明专利]一种面向工业场景的投影式增强现实跟踪显示方法和系统

说明书

本发明公开了一种面向工业场景的投影式增强现实跟踪显示方法和系统，包括以下步骤，利用传感模块实时获取装配场景的深度数据；视点跟踪模块接收所述深度数据判断跟踪操作人员的头部位置并将其转化为投影屏幕坐标系中位置信息；所述视点跟踪模块根据在投影屏幕坐标系中的位置调整投影矩阵，绘制出相应视点的图像，同时根据所述操作人员的视点位置变换3D诱导场景的虚拟相机朝向信息；投影模块根据计算机模块传输的投影信息完成图显示。本发明的有益效果：采用投影式增强现实更符合工业现场操作需求，减少用户佩戴负担，提高工作效率。

技术领域

本发明涉及增强现实的技术领域，尤其涉及一种面向工业场景的投影式增强现实跟踪显示方法及面向工业场景的投影式增强现实跟踪显示系统。

背景技术

增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，增强现实技术也被称为扩增现实，AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。

现有的增强现实系统按照显示方式可分为穿戴式、手持式和空间投影式。穿戴式显示方式主要有眼镜式和头盔式，该类显示方式的缺点是显示设备较重，并且需要佩戴在操作者头部，长时间佩戴会引起操作者眩晕，疲劳等不适，且设备续航能力较差，不适用于产品装配生产线；手持式增强现实系统通常使用平板或笔记本电脑，该类显示方式无法为用户提供沉浸式体验，并且会束缚操作者的双手。且从显示成像角度，头戴式和手持式增强现实显示设备，由于受当前底层算发及硬件运算水平等限制，系统稳8定性弱于投影显示类，常会出现注册漂移等现象。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明解决的一个技术问题是：提出基于投影式增强现实的用户视点追踪和增强现实中，基于模板匹配的无标识目标追踪方法。

为解决上述技术问题，本发明提供如下技术方案：一种面向工业场景的投影式增强现实跟踪显示方法，包括以下步骤，利用传感模块实时获取装配场景的深度数据；视点跟踪模块接收所述深度数据判断跟踪操作人员的头部位置并将其转化为投影屏幕坐标系中位置信息；所述视点跟踪模块根据在投影屏幕坐标系中的位置调整投影矩阵，绘制出相应视点的图像，同时根据所述操作人员的视点位置变换3D诱导场景的虚拟相机朝向信息；投影模块根据计算机模块传输的投影信息完成增强内容显示。

作为本发明所述的面向工业场景的投影式增强现实跟踪显示方法的一种优选方案，其中：包括以下步骤，所述传感模块采用Azure Kinect DK相机；所述视点跟踪模块以头部位置骨骼点代替双眼位置；利用相机的API接口函数捕获所述操作人员的头部骨骼点在所述Azure Kinect DK相机坐标系中的位置坐标；根据头部骨骼点在投影屏幕坐标系中的位置调整投影矩阵，绘制出相应视点的图像。

作为本发明所述的面向工业场景的投影式增强现实跟踪显示方法的一种优选方案，其中：头部位置在相机坐标系和投影平面坐标系的转换关系如下式，

式中，(x_c,y_c,z_c)^T用户头部骨骼在相机坐标系中的坐标，(x_p,y_p,z_p)^T为头部在投影屏幕坐标系中的坐标，R为旋转矩阵，T为平移矩阵。