[发明专利]基于全景图的精确标注兴趣点的户外移动增强现实方法

说明书

技术领域

本发明属于计算机技术领域，涉及一种基于全景图的精确标注兴趣点的户外移动增强现实方法。

背景技术

增强现实(Augmented Reality，AR)作为当前计算机视觉领域的研究热点，是一种用计算机产生的附加信息对真实世界的场景进行增强或者扩张的技术，通过将虚拟图像与真实物体融合来增强用户对现实环境的理解和感知。基于移动终端的户外增强现实系统结合了地理位置服务(Location Based Services，LBS)，通过移动端确定用户实际地理位置，为用户提供附近的街景、购物、商业热点等兴趣点(Point of Interest，POI)信息，让用户能在陌生的环境中迅速适应，完成增强现实的实景导航。

传统的基于移动终端的户外增强现实系统大多依靠GPS和手机传感器(包括电子罗盘、加速度计等)粗略确定用户位置和姿态，将用户附近的POI信息以标签形式实时叠加在移动设备的屏幕上，以加深用户对周围环境的认知，实现信息增强。然而，受限于GPS的定位精度和手机传感器的现有发展水平，通过GPS和传感器获得的用户位置姿态数据是不精确的，根据此位置姿态数据将POI映射至屏幕中，POI在屏幕中呈现的位置将会与实际拍摄画面上的位置有很大偏差。如此，POI标签的叠加并没有给用户提供“所见即所得”的增强现实的效果，需要经过一定的学习和理解才能使用，增大了普通用户对于传统增强现实系统的学习成本。

近年来，针对移动终端的户外增强现实系统的精确标注，国内外广泛开展相关系统的研究，逐渐取得了一些成果。2011年，学者Arth,Clemens等(文献1.Arth C,Klopschitz M,Reitmayr G,et al.Real-time self-localization from panoramic images on mobile devices[C]//Mixed and Augmented Reality(ISMAR),201110th IEEE International Symposium on.IEEE,2011:37-46.)提出了一种基于移动端的精确定位用户6D姿态的方法。通过预先采集并重建户外场景的3D数据，结合pnp方法，从用户拍摄的实时图像中恢复出用户所在的坐标和姿态，精确地计算得出用户6D姿态。但是该方法需要预先重建大规模户外场景的3D数据，建立场景的三维点和场景相关二维图像的关系，需要巨大的预工作量。

发明内容

针对现有的技术存在的问题，本发明提供一种基于全景图的精确标注兴趣点的户外移动增强现实方法。

本发明通过以下技术方案来实现：

基于全景图的精确标注兴趣点的户外移动增强现实方法，包括以下步骤：

步骤1、离线建立POI模板数据库，存储于服务器端；

步骤2、用户持有移动设备，开启摄像头功能和GPS服务，依靠GPS方式进行粗定位，通过GPS信息计算当前地点和周围POI距离；

步骤3、用户立于原地，进行水平旋转拍摄，每间隔30°拍摄1张图像，一共拍摄12张图像序列，拍摄完成后，将序列图像通过全景图拼接模块进行拼接；

步骤4、在用户当前地点产生的全景图上，利用模板匹配算法，搜索步骤2中获得的POI点的最佳匹配位置；匹配完成后，在最佳匹配位置上显示半透明增强现实标签；

步骤5、在用户生成的全景图上，以感兴趣的区域作为用户自定义POI，添加增强现实内容，成功生成用户自定义POI后上传至服务器，作为POI数据库的扩大补充。

所述步骤2中搜索附近300米～3000米内的POI地点。

所述步骤4中，在进行模板匹配时，采用基于方位角的减少模板匹配算法搜索区域的方法，通过计算POI与当前地点的相对方位角，将POI的位置映射至全景图中，仅在POI对应的像素位置附近一定区域内对POI图像模板进行模板匹配。

在步骤5后进一步包括步骤6：在已生成的全景图上实现离线浏览，用户通过拖拽的方式，分段浏览360°全视角图片，经过标注的POI的位置准确稳定地呈现在全景图中，反复浏览而不产生跳变。

其中步骤5所述的现实内容包括文字描述，语音描述，视频内容，三维动画。

本发明的有益效果：

1、本发明通过模板匹配算法将POI模板图像精确匹配到在线生成的全景图中；相比于通过传感器确定POI位置的方法，有效地提高了POI在当前图像中的位置精度，实现“所见即所得”的增强现实体验。