[发明专利]模板追踪方法、装置、增强现实系统及存储介质

说明书

本发明提出一种模板追踪方法、装置、增强现实系统及计算机可读存储介质。其中模板追踪方法包括：预先设置模板图片；在连续采集图像中当前图像里匹配所述模板图片，其中连续采集图像是由摄像头采集的；使用追踪算法计算连续采集的图像中的当前图像里的模板图片的估计姿态；根据估计姿态使用匹配算法计算连续采集的图像中的当前图像里的模板图片的精确姿态；以及在未计算出当前图像里的模板图片的精确姿态的情况下返回估计姿态；在计算出当前图像里的模板图片的精确姿态的情况下返回精确姿态。本发明实施例提高了追踪的精度和速度，可应用于AR模板图追踪，使模型紧贴模板图片，让用户有更好的AR体验；对硬件要求低，降低使用门槛，扩大用户群体。

技术领域

本发明涉及信息技术领域，尤其涉及一种模板追踪方法、装置、增强现实系统及计算机可读存储介质。

背景技术

现有技术的2D追踪算法有两种。一种是只有匹配算法，即对摄像头采集到的每一帧都做模板匹配。另一种是追踪加匹配的算法，这种算法往往有两个同步的线程，一个线程做追踪算法，另一个线程做匹配算法。输入一张图片，两个线程会同时启动，然后同时结束，最后融合两个线程的结果获得当前图片中模板图的姿态。

以上两种算法具有以下缺陷：对于只有匹配的的算法，往往计算速度较慢，而且算出的前后两帧间的姿态不平滑，不适用于AR(Augmented Reality，增强现实)模型展示；对于同步的匹配加追踪算法，受限于移动端处理器的性能，要么使用快速但效果不太好的匹配算法，使得追踪速度快但是姿态准确度低，要么使用速度较慢但是匹配效果好的匹配算法，这样姿态准确度高，但是速度慢。

发明内容

本发明实施例提供一种模板追踪方法、装置、增强现实系统及计算机可读存储介质，以至少解决现有技术中的一个或多个技术问题。

第一方面，本发明实施例提供了一种模板追踪方法，包括：预先设置模板图片；在连续采集图像中当前图像里匹配所述模板图片，其中，所述连续采集图像是由摄像头采集的；使用追踪算法计算所述连续采集的图像中的当前图像里的模板图片的估计姿态；根据所述估计姿态使用匹配算法计算所述连续采集图像中的当前图像里的模板图片的精确姿态；以及在未计算出所述当前图像里的模板图片的精确姿态的情况下返回所述估计姿态；在计算出所述当前图像里的模板图片的精确姿态的情况下返回所述精确姿态。

结合第一方面，本发明在第一方面的第一种实施方式中，在计算所述估计姿态和计算所述精确姿态之前，所述方法还包括：对所述连续采集的图像进行预处理，其中，所述预处理包括将所述当前图像转换成灰度图、对所述当前图像进行降采样处理和/或对所述当前图像进行去噪处理。

结合第一方面、第一方面的第一种实施方式，本发明在第一方面的第二种实施方式中，使用追踪算法计算所述连续采集的图像中的当前图像里的模板图片的估计姿态，以及根据所述估计姿态使用匹配算法计算所述连续采集图像中的当前图像里的模板图片的精确姿态，包括：以连续采集的N个图像为一个执行周期，在每个执行周期内，响应接收到所述连续采集的图像中的第n帧图像，若n＝1，则使用所述追踪算法计算所述连续采集的图像中的所述当前图像里的模板图片的估计姿态，以及，使用所述匹配算法计算所述连续采集的图像中的所述当前图像里的模板图片的修正姿态；若N≥n>1，则使用所述追踪算法计算所述连续采集的图像中的所述当前图像里的模板图片的估计姿态；若n＝N，则在计算出所述估计姿态和所述修正姿态之后，根据所述估计姿态和所述修正姿态计算所述连续采集的图像中的所述当前图像里的模板图片的精确姿态；其中，N为对所述采集图像执行匹配算法的时间与执行追踪算法的时间之比进行向上取整的值。

结合第一方面的第二种实施方式，本发明在第一方面的第三种实施方式中，根据所述估计姿态和所述修正姿态计算所述连续采集的图像中的当前图像里的模板图片的精确姿态，包括：将基于一个执行周期内的N个图像的所述估计姿态进行融合处理，用所述修正姿态修正所述融合处理后的估计姿态，得到所述连续采集的图像中的当前图像里的模板图片的精确姿态。