[发明专利]一种面向工业场景的投影式增强现实跟踪显示方法和系统

权利要求书

1.一种面向工业场景的投影式增强现实跟踪显示方法，其特征在于：包括以下步骤，

利用传感模块(100)实时获取装配场景的深度数据；

视点跟踪模块(200)接收所述深度数据判断跟踪操作人员的头部位置并将其转化为投影屏幕坐标系中位置信息；

所述视点跟踪模块(200)根据在投影屏幕坐标系中的位置调整投影矩阵，绘制出相应视点的图像，同时根据所述操作人员的视点位置变换3D诱导场景的虚拟相机朝向信息；

投影模块(300)根据计算机模块(200)传输的投影信息完成图显示。

2.如权利要求1所述的面向工业场景的投影式增强现实跟踪显示方法，其特征在于：包括以下步骤，

所述传感模块(100)采用Azure Kinect DK相机；

所述视点跟踪模块(200)以头部位置骨骼点代替双眼位置；

利用相机的API接口函数捕获所述操作人员的头部骨骼点在所述Azure Kinect DK相机坐标系中的位置坐标；

根据头部骨骼点在投影屏幕坐标系中的位置调整投影矩阵，绘制出相应视点的图像。

3.如权利要求1或2所述的面向工业场景的投影式增强现实跟踪显示方法，其特征在于：头部位置在相机坐标系和投影平面坐标系的转换关系如下式，

式中，(x_c,y_c,z_c)^T用户头部骨骼在相机坐标系中的坐标，(x_p,y_p,z_p)^T为头部在投影屏幕坐标系中的坐标，R为旋转矩阵，T为平移矩阵。

4.如权利要求3所述的面向工业场景的投影式增强现实跟踪显示方法，其特征在于：所述虚拟相机朝向信息变换如下步骤，

计算二维投影的透视投影矩阵时；

将虚拟相机的位置定在头部位置点(x_p,y_p,z_p)^T；

虚拟相机的观察方向由人体头部视点位置(x_p,y_p,z_p)^T指向模型的中心点O；

根据三角形相似关系可得近截面体的四点坐标为：

式中d_n为虚拟相机到近截面的距离，d_f为虚拟相机到远截面的距离，为远截面x轴方向边界坐标，为远截面y轴方向边界坐标，为近截面x轴方向边界坐标；为近截面y轴方向边界坐标。

5.如权利要求4所述的面向工业场景的投影式增强现实跟踪显示方法，其特征在于：根据近截面体的四点坐标得出对应的透视投影矩阵如下，

6.如权利要求1～2或4～5任一所述的面向工业场景的投影式增强现实跟踪显示方法，其特征在于：所述视点跟踪模块(200)对操作人员进行视点跟踪的同时，利用基于模板匹配的目标跟踪模块(400)对装配场景下操作对象的实时跟踪，所述目标跟踪模块(400)包括生成视觉模板库和线上匹配。

7.如权利要求6所述的面向工业场景的投影式增强现实跟踪显示方法，其特征在于：所述视觉模板库包括以下生成步骤，

利用一个虚拟的球面来生成二维图像；

待跟踪目标对象的三维CAD模型放置于球心,位于球表面上的每一视角点代表一个模板相机；

沿着球面进行视角点采样来生成目标对象的三维CAD模型图像；

定义模型的世界坐标系是(x_w,y_w,z_w)，模板相机的坐标系是(x_c,y_c,z_c)；

利用3个自由度确定模板相机在三维空间的位置；

设定自由度参数的范围确定视角点位置以及采样点数量。