[发明专利]一种基于实物检测追踪算法的扩增实境技术实现方法

说明书

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于实物检测追踪算法的扩增实境技术实现方法。

背景技术

扩增实境技术全称为Augmented Reality，即AR，为将虚拟世界的视效、音效及空间信息等信息整合至真实环境信息的技术，扩增实境技术不仅展现真实环境的信息，亦同时将虚拟的信息显示出来，藉由两种信息相互补充、迭加，藉此让使用者可获得更丰富的感知信息，通常，搭载扩增实境技术的电子装置可透过配置于其上的摄像镜头捕捉真实环境的影像，并实时地计算所捕捉影像的位置、角度，同时加上相应虚拟图像，其目的是在显示屏幕上把虚拟世界信息套在现实环境信息中，让用户透过所捕捉的影像与虚拟世界的信息进行互动。

现今扩增实境技术主要应用于智能手机、平板计算机等移动装置，近年来由于虚拟现实(Virtual Reality，VR)技术的发展，也开始将扩增实境技术应用于智能头盔、智能眼镜等穿戴式设备上。透过3D图像动画的渲染，多媒体视频、音频的播放，扩增实境技术被广泛地应用于电玩游戏、媒体传播及教育等领域。

扩增实境技术利用虚拟特效增强真实环境中的场景，将需要被展示或被突显的目标事物更加生动且具体，带给用户强烈鲜明的视觉效果。由于扩增实景技术的快速发展，用户已经不满足于利用摄像头追踪简单的二维码图像或者平面影像。取而代之对更加复杂的对立体实物的捕捉与追踪成为了工业应用、商业推广等商家们的需求。

经典的扩增实境技术是基于图像特征点开发的，即通过提取真实环境影像的特征点描述子与事先存在标志物文件中的描述子做比对，来实施对标志物的检测与追踪的。二维码图形或者平面图片中往往蕴涵着大量的特征点信息，对于细节丰富的实物模型来说，特征点的跟踪匹配还是较优的选择。但是，三维立体实物中有可能并不存在丰富的特征点，甚至存在没有特征点的极端情况，例如三维打印出的模型，这对实物的匹配造成了干扰，因此基于特征点的立体实物检测与跟踪存在局限性。

有鉴于此，扩增实镜中在实物特征点不足的情况下怎样进行检测与跟踪是亟待解决的技术问题。

发明内容

本发明为了解决上述技术问题提供一种基于实物检测追踪算法的扩增实境技术实现方法。

本发明通过下述技术方案实现：

一种基于实物检测追踪算法的扩增实境技术实现方法，包括以下步骤：

1)、生成本地标志物文件，包括模板档和与模板档对应的三维模型位姿矩阵文件；

2)、初始化扩增实境系统；

3)、获取真实场景的图像，提取和优化图像边缘；

4)、在图像边缘进行模板匹配，若匹配成功则在该区域生成决定窗；

5)、导入模板对应的位姿矩阵，并对该位姿矩阵进行微调修正；

6)、根据修正后的位姿矩阵渲染扩增实境特效；

7)、在决定窗中提取角点，根据角点数量选择合适的追踪算法，若角点数量大于阈值，系统进入特征点追踪算法，若角点数量小于阈值，系统进入边缘追踪算法；

8)、根据追踪算法更新扩增实境动画特效；

9)、若目标标志物在真实场景的图像中丢失，则回到步骤3)。

作为优选，所述特征点追踪算法包括以下步骤：

A1、利用决定窗中找到的角点，记录角点坐标并提取orb描述子；

A2、根据位姿矩阵算出实物表面特征点在实物世界坐标中的三维坐标值；

A3、摄像头获取下一帧影像，提取该帧影像的orb特征点并生成orb描述子，在上一帧的角点坐标附近区域搜索与该帧相匹配的特征点，譬如该点附近15*15像素的正方形区域，并根据新匹配到的特征点与实物世界坐标计算出这一帧新的位姿矩阵；

A4、根据新的位姿矩阵求出这一帧所有特征点在实物世界的坐标；

A5、按A3、A4步骤跟踪线程跟踪至少两帧时，根据前两帧的位姿矩阵预估一个预测矩阵，用预测矩阵将前一帧的特征点坐标投影到这一帧上，在上一帧角点的投影位置附近搜索匹配点，譬如在上一帧角点附近9*9像素的正方形区域进行搜索；

A6、更新位姿矩阵。

作为优选，所述边缘追踪算法的具体步骤为：

B1、利用前一帧的位姿矩阵渲染出实物结构并提取取样点；

B2、寻找当前帧边缘图中与取样点距离最近的边缘，建立误差公式；

B3、优化上一步的误差值更新取样点坐标；

B4、根据取样点坐标更新位姿矩阵。

进一步的，所述步骤B3的具体方法为：利用IRLS算法和RANSAC算法计算使该误差最小时取样点应该在的位置。