[发明专利]基于跨源图像匹配的户外增强现实应用方法

说明书

本发明提出了一种基于跨源图像匹配的户外增强现实应用方法，该方法包括：获取相机图像和与相机图像对应匹配的渲染图像，并对相机图像和渲染图像进行处理，以获取成对匹配的局部相机图像块和局部渲染图像块；根据自动编码机和孪生网络构建深度学习模型，并对深度学习模型进行训练；基于训练好的深度学习模型对待匹配的局部相机图像块和局部渲染图像块的特征描述子进行提取，并根据提取到的特征描述子对待匹配的局部相机图像块和局部渲染图像块进行跨源图像匹配，以获得跨源图像匹配结果；根据跨源图像匹配结果获取跨源图像的对应关系，并根据对应关系计算虚实注册变换关系；根据虚实注册变换关系实现对户外增强现实的应用从而提高增强现实的效果。

技术领域

本发明涉及户外增强现实技术领域，特别涉及一种基于跨源图像匹配的户外增强现实应用方法、一种计算机可读存储介质和一种计算机设备。

背景技术

相关技术中，增强现实的应用主要集中在室内场景，通过预先放置标记以辅助虚实注册，然而在户外场景中，由于户外场景的规模和复杂程度都增大了，采用预先放置标记是不现实的，因此大多数的户外增强现实应用通常是基于传感器的定位和视觉方法，且主要应用在静态的场景，而且多传感器的融合精度对光线的变化和遮挡并不鲁棒，从而影响增强现实的效果。

发明内容

本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于跨源图像匹配的户外增强现实应用方法，通过对跨源图像进行匹配以获取对应关系，并根据对应关系获取虚实注册变换关系，从而提高增强现实的效果。

本发明的第二个目的在于提出一种计算机可读存储介质。

本发明的第三个目的在于提出一种计算机设备。

为达到上述目的，本发明第一方面实施例提出了一种基于跨源图像匹配的户外增强现实应用方法，包括以下步骤：获取相机图像和与所述相机图像对应匹配的渲染图像，并对所述相机图像和所述渲染图像进行处理，以获取成对匹配的局部相机图像块和局部渲染图像块；根据自动编码机和孪生网络构建深度学习模型，并根据成对匹配的局部相机图像块和局部渲染图像块对所述深度学习模型进行训练；基于训练好的深度学习模型对待匹配的局部相机图像块和局部渲染图像块的特征描述子进行提取，并根据提取到的特征描述子对所述待匹配的局部相机图像块和局部渲染图像块进行跨源图像匹配，以获得跨源图像匹配结果；根据所述跨源图像匹配结果获取跨源图像的对应关系，并根据所述对应关系计算虚实注册变换关系；根据所述虚实注册变换关系实现对户外增强现实的应用。

根据本发明实施例的基于跨源图像匹配的户外增强现实应用方法，首先获取相机图像和与相机图像对应匹配的渲染图像，并对相机图像和渲染图像进行处理，以获取成对匹配的局部相机图像块和局部渲染图像块，接着根据自动编码机和孪生网络构建深度学习模型，并根据成对匹配的局部相机图像块和局部渲染图像块对深度学习模型进行训练，然后基于训练好的深度学习模型对待匹配的局部相机图像块和局部渲染图像块的特征描述子进行提取，并根据提取到的特征描述子对待匹配的局部相机图像块和局部渲染图像块进行跨源图像匹配，以获得跨源图像匹配结果，再接着根据跨源图像匹配结果获取跨源图像的对应关系，并根据对应关系计算虚实注册变换关系，最后根据虚实注册变换关系实现对户外增强现实的应用；由此，通过对跨源图像进行匹配以获取对应关系，并根据对应关系获取虚实注册变换关系，从而提高增强现实的效果。

另外，根据本发明上述实施例提出的基于跨源图像匹配的户外增强现实应用方法还可以具有如下附加的技术特征：

可选地，获取相机图像和与所述相机图像对应匹配的渲染图像，包括：获取相机图像；获取航拍影像，并采用SFM算法对所述航拍影像进行三维重建，以获得户外场景的三维图像点云；根据所述相机图像获取图像信息，并根据所述图像信息在所述三维图像点云中渲染出一张与所述相机图像对应匹配的渲染图像。