[发明专利]用于生成增强现实图像的方法

说明书

本文说明的示例包括用于生成增强现实图像的方法，不会偏离与真实世界的对准。一示例的方法包括一便携式计算机终端，该便携式计算机终端获得一第一场景的一第一估计的位置和一第一估计的方向；生成所述第一场景的一第一估计的图像；获得所述第一场景的一第一相机图片；执行所述第一估计的图像与所述第一相机图片之间的一第一图案匹配；调整所述便携式计算机终端的近似的位置和/或方向；执行一第二图案匹配；以及，考虑所述便携式计算机终端的当前位置和方向而生成一增强现实图像。

技术领域

本发明涉及一种用于生成增强现实图像的方法、执行所述方法的程序、存储设备及装置。

背景技术

移动(mobile)增强现实

近年来，通过安卓(Android)的被成为“ARCore”的AR体验构建平台和苹果移动操作系统(iOS)的被称为“ARKit”的AR开发平台的发布，移动增强现实已经广泛应用。这使得仅使用大多数用户已经随身携带的硬件就可以开发基于真实世界的AR游戏和其它体验。然而，当前的AR平台理解其环境的能力非常有限，导致例如虚拟对象未能被正确地遮挡以及偏离与真实世界的对准等问题。

避免此问题的一种方法是采用环境的现有模型。采用这样的模型还允许动态虚拟对象与真实世界的表面正确地交互且虚拟角色在环境中智能地移动。

这种模型对于地点特定的体验(包括商业促销、主题公园和古迹)可能是实用的。

采用这样的真实世界的模型还允许艺术家和设计师利用环境的特定的几何结构来创建体验。

增强建筑物(Augmented Buildings)

建筑物通常共有使其成为适合AR体验的环境的许多属性：建筑物的几何结构是静态的且是简单的，通常是与公共垂直轴对齐的矩形特征的立方体。另外，由于建筑物的竖直性和较大的规模，所以许多建筑物能够在他人遮挡最小的情况下同时被大量的用户观看。这种大的规模还意味着GPS数据(与罗盘航向和IMU数据结合使用)对于在环境中配准设备的姿态变得是有用的。但是，GPS和罗盘数据都不精确。由于受阻的卫星信号和多径误差，GPS在城市环境中尤其受挫。这种错误引起的视觉错位是非常大的，以至于以前的仅依靠这些数据进行的工作要求用户从预定义的角度查看体验，然后手动调整偏航对准。

相机姿态配准

许多以前的工作已经使用各种计算机视觉技术来获得更精确的相机姿态。丰德(Fond)等(2017)开发了一种系统，使用神经网络而产生有关能与立面(facade)数据库匹配的候选立面区域的各种提示。然而，他们承认，由于卷积神经网络(CNN)描述子(descriptor)对于小的平移的不变性，他们的方法不适用于精确的姿态估计。

发明内容

本文公开的本发明的一目的在于提供一种用于生成增强现实图像的方法，该图像不会偏离与真实世界的对准。

本文公开的其中一个发明涉及一种用于生成增强现实图像的方法。

所述方法包括以下步骤。

借助一便携式计算机终端中的一GPS单元、一罗盘和一惯性测量单元，通过估计所述便携式计算机终端的位置和三维方向，所述便携式计算机终端获取一第一场景的一第一估计的位置和一第一估计的方向。

所述便携式计算机终端利用所述第一估计的位置和所述第一估计的方向而生成所述第一场景的一第一估计的图像。

借助所述便携式计算机终端中的一相机，所述便携式计算机终端获去所述第一场景的一第一相机图片。

所述便携式计算机终端执行所述第一估计的图像与所述第一相机图片之间的一第一图案匹配，以获取所述便携式计算机终端的近似的位置和方向。