[发明专利]一种面向城市增强现实的高融合度信息标注方法

说明书

技术领域

本发明涉及计算机图形学领域，尤其涉及一种面向城市增强现实的高融合度信息标注方法。

背景技术

为现实场景叠加虚拟提示信息是增强现实的核心内容之一。提示信息通常是对于场景中某个特定物体的相关属性，如名称、特点、用途等，使用文字、图像等媒体进行进一步的描述。将提示信息叠加到真实场景可以有效地辅助用户理解场景。而要实现提示信息的叠加，则首先必须完成信息标注。将虚拟的信息注册到真实的物体上，这个过程被称之为信息标注。信息标注是提示信息叠加与呈现的必要前期工作，只有预先进行信息标注，建立物体与提示信息之间的联系，才能在后期的在线阶段将提示信息以所期望的方式呈现给用户。通过信息标注，增强现实系统可以在各种场景中对目标物体进行信息提示。目前，自动化的信息标注工具还不成熟，仍需借助人工交互来完成信息标注。

城市增强现实是当前增强现实的应用热点，在城市增强现实中往往使用提示信息来为用户做出与城市内建筑景物等相关的提示，并进行适当的位置引导。用户可以通过浏览提示信息来对城市场景进行更深层次的认识，同时获得更多相关信息。因此，目前有许多针对提示信息叠加特别是针对城市场景提示的研究。提示信息叠加到真实场景的方式对于解释城市场景有着重要的作用。

然而，目前对于提示信息的呈现大多在屏幕空间进行且提示信息以文字为主。它们层叠式地堆积在屏幕空间，一般只是简单地和所提示的建筑物有一个位置上的模糊对应。虽然这种方式在实现上比较简单易行，但是当处理类似建筑群等空间关系比较复杂的场景时，位于屏幕空间的提示信息会因为缺少深度信息且无法准确的反映提示对象的位置关系，从而使用户在观看时产生疑惑。因此对于城市增强现实而言，位于屏幕空间的叠加方式一般无法很好地达到辅助用户理解的目的。

位于屏幕空间的信息提示本质上是一种由高维空间到低维空间的映射，维度缺失必可避免地造成信息显示不准确、用户理解困难等问题。因此，具有高融合度的信息提示方法受到了研究人员的关注。但是现有的呈现方式绝大多数需要依赖可穿戴设备和标记物。

发明内容

本发明的目的在于针对现有技术的不足，提供一种面向城市增强现实的高融合度信息标注方法。

本发明的目的是通过以下技术方案来实现的：一种面向城市增强现实的高融合度信息标注方法，包括以下步骤：

(1)建立虚实融合场景：利用摄像设备拍摄需要处理的城市建筑真实场景视频流，从记录城市建筑真实场景的视频流中提取出三维稀疏特征点集合，三维稀疏特征点的位置即为真实场景的世界坐标系位置，借助三维数字内容创作工具建立实景三维模型，使用实景三维模型和三维稀疏特征点集合同时来描述真实场景；得到同时具有世界坐标以及建筑物外形结构的虚实融合场景；所述虚实融合场景的构建包括以下子步骤：

(1.1)使用运动信息中恢复三维场景结构(Structure from Motion，简称SfM)方法处理城市建筑真实场景视频流，得到两个文件：帧序列以及act文件；其中，帧序列为使用SfM方法处理城市建筑真实场景视频流得到的适用于重建的图像序列，图像序列中每帧图像具有按序依次递增1的序号，称为帧序号；act文件具体内容如下：

A.帧序列中每一帧图像所对应的相机外参以及相机焦距；每一组相机外参以及相机焦距以帧序号作为索引，其值由SfM方法求得；

B.三维稀疏特征点集合中每个特征点的世界坐标系位置以及出现该特征点的帧的帧序号；

(1.2)对act文件进行解析，具体包括以下子步骤：

(1.2.1)对于步骤1.1中得到的帧序列中任意一帧i，绘制帧i，记录帧序号i；

(1.2.2)解析文件，得到帧i上出现的所有特征点的世界坐标；按照世界坐标绘制解析得到的特征点；特征点以具有较小半径的圆形表示；

(1.2.3)查找act文件，通过帧序号i索引找到其对应的相机外参和相机焦距；使用相机外参计算得到与相机有关参数：相机位置、相机朝向、相机顶部位置，计算方法如下：

Camera＝[R_3*3 T_3*1]

R^-1＝R^T

Eye＝-T^T*R^T

Center＝[0,0,1]*R^-1+Eye＝[0,0,1]*R^T+Eye

Up＝[0,-,0]*R^-1＝[0,-1,0]*R^T