[发明专利]基于AR的场景导览方法、AR眼镜、电子装置和存储介质

说明书

本申请涉及一种基于AR的场景导览方法、AR眼镜、电子装置和存储介质，通过获取用户视野所及的空间区域的实时图像；提取实时图像中的展品图像；提取对展品图像中的全局特征描述符和特征点描述符；根据全局特征描述符从待检索图像中初步匹配得到与展品图像匹配的至少一张相似图像；根据特征点描述符精确匹配得到和展品图像最相似的第一相似图像；根据匹配特征点对中的特征点在展品图像上的位置信息确定用户相对于展品图像的空间位姿；根据空间位姿获取对应于第一相似图像的虚拟信息，并将虚拟信息叠加显示于用户视野所及的空间区域，解决了基于AR的场景导览效果差且计算资源开销大的问题，提升了基于AR的场景导览效果且降低了计算资源开销。

技术领域

本申请涉及AR技术领域，特别是涉及基于AR的场景导览方法、AR眼镜、电子装置和存储介质。

背景技术

相关技术基于AR(Augmented Reality，增强现实)的场景导览方法包含以下几个关键步骤：

步骤1，用AR眼镜拍摄场景图像，提取图像的特征点。采用手工设计的特征来提取特征点。

步骤2，建立离线词袋模型。在给定的一组图像数据集上利用步骤1中提取的特征点，通过诸如BOW、VLAD的基于特征描述算子的特征编码算法，得到词袋模型。

步骤3，特征点匹配。采用随机抽样一致算法，获取最优化的匹配点对。

步骤4，计算位姿。根据步骤3中已获得的匹配点对，通过几何约束计算相应的变换矩阵，得到场景图像的位置。

步骤5，显示场景图像的位置以进行导览。

上述方案存在以下缺陷：

(1)即使是在同一场景下拍摄的图像，也会由于环境光照复杂、用户佩戴AR眼镜的角度各异的因素而导致场景图像各有不同，直接通过场景图像的特征点匹配来定位场景的位置会导致定位不准确，而且耗时长。

(2)手工设计的特征点是凭借人们对几何学以及数学上的一些认识，对图像中的某些局部特殊区域进行建模得到描述函数，此类特征点的缺点是只关注到图像的局部特征，对光照、视角变化敏感，泛化能力弱，且速度不稳定；建立离线词袋模型的过程是根据手工设计的局部特征点聚类得到的码本，因此无法描述图像的全局特征，特征表达能力也有较大局限性。

(3)AR眼镜是一种便携式设备，其算力较低，电池容量也受限，因此续航时间较短，相关技术基于AR的场景导览方法无法兼顾计算量和导览效果。

针对相关技术中基于AR的场景导览效果差且计算资源开销大的问题，目前还没有提出有效的解决方案。

发明内容

在本实施例中提供了一种基于AR的场景导览方法、AR眼镜、电子装置和存储介质，以解决相关技术中基于AR的场景导览效果差且计算资源开销大的问题。

第一个方面，在本实施例中提供了一种基于AR的场景导览方法，包括：

获取用户视野所及的空间区域的实时图像，对所述实时图像进行目标识别处理，得到所述实时图像中的展品图像；

对所述展品图像进行特征提取处理，得到所述展品图像的全局特征描述符和特征点描述符；

获取待检索图像的全局特征描述符，根据所述展品图像和所述待检索图像的全局特征描述符，从所述待检索图像中确定与所述展品图像匹配的至少一张相似图像；获取所述相似图像的特征点描述符，根据所述展品图像和所述待检索图像的特征点描述符，得到匹配特征点对，并从所述相似图像中确定匹配特征点对数目最多的第一相似图像；

获取所述匹配特征点对中的特征点在所述展品图像上的位置信息，根据所述位置信息，确定用户相对于所述展品图像的空间位姿；根据所述空间位姿获取对应于所述第一相似图像的虚拟信息，并将所述虚拟信息叠加显示于用户视野所及的空间区域。