[发明专利]一种面向城市增强现实的高融合度信息标注方法

权利要求书

1.一种面向城市增强现实的高融合度信息标注方法，其特征在于，包括以下步骤：

(1)建立虚实融合场景：利用摄像设备拍摄需要处理的城市建筑真实场景视频流，从记录城市建筑真实场景的视频流中提取出三维稀疏特征点集合，三维稀疏特征点的位置即为真实场景的世界坐标系位置，借助三维数字内容创作工具建立实景三维模型，使用实景三维模型和三维稀疏特征点集合同时来描述真实场景；得到同时具有世界坐标以及建筑物外形结构的虚实融合场景；所述虚实融合场景的构建包括以下子步骤：

(1.1)使用SfM方法处理城市建筑真实场景视频流，得到两个文件：帧序列以及act文件；其中，帧序列为使用SfM方法处理城市建筑真实场景视频流得到的适用于重建的图像序列，图像序列中每帧图像具有按序依次递增1的序号，称为帧序号；act文件具体内容如下：

A.帧序列中每一帧图像所对应的相机外参以及相机焦距；每一组相机外参以及相机焦距以帧序号作为索引，其值由SfM方法求得；

B.三维稀疏特征点集合中每个特征点的世界坐标系位置以及出现该特征点的帧的帧序号；

(1.2)对act文件进行解析，具体包括以下子步骤：

(1.2.1)对于步骤1.1中得到的帧序列中任意一帧i，绘制帧i，记录帧序号i；

(1.2.2)解析文件，得到帧i上出现的所有特征点的世界坐标；按照世界坐标绘制解析得到的特征点；特征点以具有较小半径的圆形表示；

(1.2.3)查找act文件，通过帧序号i索引找到其对应的相机外参和相机焦距；使用相机外参计算得到与相机有关参数：相机位置、相机朝向、相机顶部位置，计算方法如下：

Camera＝[R_3*3 T_3*1]

R^-1＝R^T

Eye＝-T^T*R^T

Center＝[0,0,1]*R^-1+Eye＝[0,0,1]*R^T+Eye

Up＝[0,-,0]*R^-1＝[0,-1,0]*R^T

其中，Camera是一个3*4的矩阵，R3*3是摄像机的旋转矩阵，为一正交矩阵，T 3*1　是摄像机的平移向量；Eye表示摄像机在世界坐标系的位置；Center表示摄像机镜头朝向；Up表示摄像机顶部的朝向；通过Eye、Center、Up三个参数和相机焦距值，恢复真实世界中相机视角；

(1.2.4)对于全部帧序列中的图像重复步骤1.2.1-1.2.3，以此方式将所有真实场景以特征点的方式重现，并且明确特征点所对应的真实场景；

(1.3)将步骤1中所述实景三维模型与步骤1.2中绘制好的特征点进行匹配，具体方法如下：

(1.3.1)根据帧序列选择待处理的平面区域，选择该平面区域对应的所有特征点，利用选择的所有特征点使用最小二乘法拟合生成平面；

(1.3.2)以步骤1.3.1中生成的平面作为参考平面，通过改变实景三维模型的位置将实景三维模型上对应于参考平面的区域与参考平面相重合，并根据帧序列进行调整；

(2)生成信息依附面：根据步骤1建立的虚实融合场景，在待标注的区域生成信息依附面；信息依附面用来建立多元提示信息与真实场景结构的联系、记录虚拟信息的中介物；具体生成方法如下：根据帧序列及实景三维模型，对于待标注的区域，在该区域上选择三个以上的点；利用选中的点，使用最小二乘法拟合生成一个平面，即为信息依附面；

(3)多元信息标注：将不同媒体形式的提示信息依附在信息依附面上，具体依附方式如下：

(3.1)建立提示信息代理：对于文本、图片、视频类型的提示信息，生成一个平面结构，将上述三种提示信息作为此平面结构的纹理信息，称此平面结构为提示信息代理；对于声音以及模型，直接进行后续的依附工作；

(3.2)调整提示信息：对于文本、图片、视频类型的提示信息，调整提示信息代理的位置、大小和方向；对于模型，直接调整模型本身使之适于显示；声音无需调整；

(3.3)将步骤2中生成的信息依附面设置为提示信息代理或提示信息本身的父节点；将不同媒体形式的提示信息以此方式依附在信息依附面上；根据以上方法将多元信息标注到待标注区域；

(4)场景语义组织：根据真实场景层次结构建立场景结构图，以场景名称作为输入，将所有较大场景单位作为较小场景单位的父亲，将信息依附面作为虚拟结构置于场景结构的底端，并将信息依附面作为提示信息的父亲，得到组织后的具有标注信息的场景结构描述文件。