[发明专利]动态视角条件下实现平面目标三维跟踪和增强现实的方法

摘要

本发明公开了一种动态视角条件下实现平面目标三维跟踪和增强现实的方法，该方法通过STC跟踪算法对图像中的多个区域分别进行跟踪以得到相应的2D坐标，然后根据2D坐标解算出位姿矩阵，最终实现对平面目标的三维跟踪和增强现实；本发明的有益技术效果是：提出了一种动态视角条件下实现平面目标三维跟踪和增强现实的方法，该方法能够通过多点视觉跟踪来实现三维跟踪，不受边和特征点的限制，而且能稳定、精确、实时地实现对平面目标的三维跟踪。

主权项

1.一种动态视角条件下实现平面目标三维跟踪和增强现实的方法，所涉及的硬件包括图像采集模块、显示模块、人机对话模块和处理模块；所述图像采集模块、显示模块和人机对话模块均与处理模块连接；其特征在于：被跟踪的对象记为平面目标，所述平面目标为二维平面结构，所述二维平面结构的几何中心和几何尺寸已知；将所述平面目标设置在一平面场景中，跟踪过程中，平面目标静止不动；所述方法包括：1)在平面目标表面选定4个或4个以上的点位作为识别点；2)以平面目标的几何中心为原点O，平面目标所在平面为XOY平面，建立三维笛卡尔坐标系；所述三维笛卡尔坐标系简记为3D坐标系；根据各个识别点在平面目标上的分布位置得到各个识别点的3D坐标，将各个识别点所对应的3D坐标导入处理模块；识别点在3D坐标系中的坐标即为3D坐标；3)建立用于后期增强现实三维渲染的虚拟模型；所述虚拟模型预存在处理模块中；4)为图像采集模块的像平面生成二维笛卡尔坐标系，所述二维笛卡尔坐标系简记为2D坐标系；所述2D坐标系预存在处理模块中；5)控制图像采集模块驻停在某一位置，然后通过图像采集模块获取首帧图像并将首帧图像传输至处理模块，处理模块控制显示模块对首帧图像进行显示；所述识别点全部位于首帧图像的画面中；6)操作人员通过显示模块观察首帧图像，然后通过操作人机对话模块，在首帧图像上标记出多个跟踪点位，以及设定好跟踪点位与识别点的对应关系，至此，跟踪点位和相应的识别点就形成了对应关系，此对应关系简记为2D-3D关系；首帧图像的画面中与识别点对应的点位即为跟踪点位，跟踪点位与识别点一一对应；7)处理模块在2D坐标系上为每个跟踪点位生成相应的跟踪区，各个跟踪区互不干涉，跟踪点位位于相应跟踪区的中心；图像采集模块的像平面上与跟踪区对应的区域记为识别区；然后，处理模块根据识别区内的灰度分布，为每个跟踪区生成相应的灰度梯度上下文；然后，处理模块为每个跟踪区分配独立的STC处理单元，并用灰度梯度上下文对相应的STC处理单元进行初始化；跟踪点位在2D坐标系中的坐标记为2D坐标，STC处理单元初始化后，STC处理单元采用STC跟踪算法解算出相应的2D坐标并对STC跟踪算法内的2D坐标的数值进行更新；8)处理模块根据2D坐标、2D-3D关系、图像采集模块的内参矩阵和图像采集模块的畸变矩阵，采用PNP算法解算出平面目标相对于所述像平面的位姿矩阵；同时，处理模块根据STC跟踪算法内的2D坐标的数值，对各个跟踪区的位置进行更新；9)处理模块根据所述内参矩阵、畸变矩阵和位姿矩阵，将所述虚拟模型注册至首帧图像中，得到三维增强现实视图，处理模块控制显示模块对三维增强现实视图进行显示；10)之后，控制图像采集模块运动并实时获取图像数据；每收到一帧图像数据，处理模块就按如下方式对图像数据进行处理：A)处理模块根据相应识别区内的灰度分布，为每个跟踪区生成相应的灰度梯度上下文，然后将灰度梯度上下文发送给对应的STC处理单元；STC处理单元采用STC跟踪算法解算出相应跟踪点位当前的2D坐标并对STC跟踪算法内的2D坐标的数值进行更新；B)处理模块根据2D坐标、2D-3D关系、图像采集模块的内参矩阵和图像采集模块的畸变矩阵，采用PNP算法解算出平面目标相对于所述像平面的位姿矩阵；同时，处理模块根据STC跟踪算法内的2D坐标的数值，对各个跟踪区的位置进行调节；C)处理模块根据所述内参矩阵、畸变矩阵和位姿矩阵，将所述虚拟模型注册至当前帧图像中，得到三维增强现实视图，处理模块控制显示模块对三维增强现实视图进行显示。