[发明专利]融合三维场景语义的单目视觉定位增强方法和设备

说明书

本发明涉及虚拟地理环境分析领域，提供了融合三维场景语义的单目视觉定位增强方法和设备。方法包括输入包含多模态特征的部件级三维模型库，构建模型知识图谱和场景知识图谱；根据模型知识图谱的部件节点关联的语义节点，生成训练数据，建立并训练生成图谱语义融合增强视觉特征的图像目标识别模型；在任意位置获取单目图像，输入图像目标识别模型，输出单目图像的地物目标信息；基于单目图像的地物目标信息，对场景知识图谱中的实体节点进行语义检索，得到与单目图像匹配的三维模型；测量摄像机与地物目标的角度和距离，确定摄像机在三维空间的定位信息。以此方式，可以实现三维场景语义增强的视觉定位，增强了图像精确性、数据广泛性。

技术领域

本发明一般涉及虚拟地理环境分析领域，并且更具体地，涉及融合三维场景语义的单目视觉定位增强方法和设备。

背景技术

随着经济的高速、持续发展和城市化进程的加快，移动通信和移动定位技术为地理信息的社会化应用带来了新的机遇。人类社会中绝大多数的信息和空间位置有关，大众对地理信息的需求也不断提高，基于位置的定位服务是在技术发展和社会需求的双重推动下产生的。特别在智慧城市服务和城市规划方面，地理空间或地理定位技术的作用十分重要，能够基于位置信息识别与城市地图上各种类别对象的交互方式，并帮助做出更好的决策。

目前，GPS定位法虽被广泛使用，但信号穿透力差、定位精度低，只适用于二维平面，确定用户的大致位置但无法确定方向，在大型建筑群内部无法发挥作用。同时，二维空间数据表达本身存在高程信息缺失、语义信息不足、空间关系粗略等局限，脱离了真实的空间结构及所在的立体空间位置，无法支撑城市复杂三维环境下的自动导航、智能决策等出行需求。因此，研发面向三维地理环境的空间定位和导航技术是智慧城市建设的主要挑战。

然而，现有三维不动产数据模型内容单一、缺乏语义信息、无法表达物理空间等难点，其空间位置获取和规划也很难避免遮挡盲区的产生，使地图调用的合理性和时效性降低，难以提供室内外无缝定位与导航的支持。

发明内容

根据本发明的实施例，提供了一种融合三维场景语义的单目视觉定位增强方案。

在本发明的第一方面，提供了一种融合三维场景语义的单目视觉定位增强方法。该方法包括：

输入包含多模态特征的部件级三维模型库，构建模型知识图谱和场景知识图谱；

根据所述模型知识图谱的部件节点关联的语义节点，生成训练数据，建立并训练生成图谱语义融合增强视觉特征的图像目标识别模型；

在任意位置获取单目图像，输入所述图像目标识别模型，输出所述单目图像的地物目标信息；

基于所述单目图像的地物目标信息，对所述场景知识图谱中的实体节点进行语义检索，得到与所述单目图像匹配的三维模型；

测量摄像机与地物目标的角度和距离，确定摄像机在三维空间的定位信息。

进一步地，所述输入包含多模态特征的部件级三维模型库，构建模型知识图谱和场景知识图谱，包括：

构建部件级三维模型多模态特征的信息化表达框架，生成特征信息；

将部件级三维模型中的部件模型抽象为部件节点，并将所述部件模型的信息化特征抽象为语义节点，作为所述部件节点的子节点，生成模型知识图谱；

根据所述部件节点、语义节点以及特征信息构建场景知识图谱。

进一步地，所述部件级三维模型多模态特征的信息化表达框架，包括三维模型的几何形态、空间位置、属性特征、要素关系和POI信息；其中

所述几何形态为三维模型对现实物体的基本形状表达信息；

所述空间位置包括三维模型的部件位置和实体位置；