[发明专利]融合三维场景语义的单目视觉定位增强方法和设备

权利要求书

1.一种融合三维场景语义的单目视觉定位增强方法，其特征在于，包括：

输入包含多模态特征的部件级三维模型库，构建模型知识图谱和场景知识图谱；

根据所述模型知识图谱的部件节点关联的语义节点，生成训练数据，建立并训练生成图谱语义融合增强视觉特征的图像目标识别模型；

在任意位置获取单目图像，输入所述图像目标识别模型，输出所述单目图像的地物目标信息；

基于所述单目图像的地物目标信息，对所述场景知识图谱中的实体节点进行语义检索，得到与所述单目图像匹配的三维模型；

测量摄像机与地物目标的角度和距离，确定摄像机在三维空间的定位信息；

所述根据所述模型知识图谱的部件节点关联的语义节点，生成训练数据，建立并训练生成图谱语义融合增强视觉特征的图像目标识别模型，包括：

将所述模型知识图谱的部件节点名称作为标签，对图像进行标记，并划分为训练集和测试集；

以U-Net16网络作为面向部件几何形态的轮廓特征学习网络，以及，以FAN网络作为面向部件POI信息的文本特征学习网络；

叠加所述轮廓特征学习网络和文本特征学习网络，得到组合网络，以全连接层和softmax逻辑函数作为所述组合网络的输出层；

以所述训练集训练所述组合网络，输出测试结果，并根据所述测试结果调整所述组合网络的参数，得到图谱语义融合增强视觉特征的图像目标识别模型。

2.根据权利要求1所述的融合三维场景语义的单目视觉定位增强方法，其特征在于，所述输入包含多模态特征的部件级三维模型库，构建模型知识图谱和场景知识图谱，包括：

构建部件级三维模型多模态特征的信息化表达框架，生成特征信息；

将部件级三维模型中的部件模型抽象为部件节点，并将所述部件模型的信息化特征抽象为语义节点，作为所述部件节点的子节点，生成模型知识图谱；

根据所述部件节点、语义节点以及特征信息构建场景知识图谱。

3.根据权利要求2所述的融合三维场景语义的单目视觉定位增强方法，其特征在于，所述部件级三维模型多模态特征的信息化表达框架，包括三维模型的几何形态、空间位置、属性特征、要素关系和POI信息；其中

所述几何形态为三维模型对现实物体的基本形状表达信息；

所述空间位置包括三维模型的部件位置和实体位置；

所述属性特征为三维模型在既有分类体系中所属类别的表达属性；

所述要素关系包括三维模型的部件关系和实体关系；

所述POI信息为用于标注三维模型的描述性语义信息。

4.根据权利要求3所述的融合三维场景语义的单目视觉定位增强方法，其特征在于，所述根据所述部件节点、语义节点以及特征信息构建场景知识图谱，包括：

将部件级三维模型中的单体模型抽象为实体节点；所述单体模型为一个或多个部件组成的能够整体表达的场景对象或要素；所述实体节点具有自身独有的属性特征和POI信息以及所包含部件节点的所有信息化表达；

将空间位置和要素关系作为关系边将实体与实体节点之间进行关联，形成场景知识图谱。

5.根据权利要求1所述的融合三维场景语义的单目视觉定位增强方法，其特征在于，所述基于所述单目图像的地物目标信息，在所述场景知识图谱中对目标信息进行语义检索，得到与所述单目图像匹配的三维模型，包括：

基于所述单目图像的地物目标信息，计算部件节点和实体节点的相似程度；

根据部件节点和实体节点的相似程度在所述场景知识图谱中进行语义检索，得到匹配的实体节点；

从所述部件级三维模型库中提取与所述单目图像匹配的三维模型。