[发明专利]三维模型的语义生成方法、装置、存储介质与电子设备

说明书

本公开提供了一种三维模型的语义生成方法、装置、存储介质与电子设备，涉及计算机技术领域。该方法包括：获取多张二维图像与三维模型，所述三维模型是通过所述多张二维图像进行三维重建所得到的模型，所述三维模型包括多个面片；基于第一映射关系、第二映射关系、第三映射关系中的至少两种映射关系与所述二维图像的语义，生成所述面片中至少两种元素的语义；融合所述至少两种元素的语义，以输出所述三维模型的语义。本公开能够提高三维模型语义的准确性。

背景技术

三维重建是计算机视觉的基础性技术。利用三维重建的相关算法，能够基于二维图像的处理，建立真实世界的三维模型。

目前，三维重建的重点在于恢复真实世界的三维结构与实景，这样得到的三维模型仅停留在较低的视觉层次，无法完成高层次、复杂的视觉任务，如智慧城市建设、沉浸式AR(Augmented Reality，增强现实)游戏等。

因此，有必要对三维模型赋予语义，以便于计算机从人类的感官层面上理解三维模型，从而实现高层次视觉任务的处理。

发明内容

本公开提供了一种三维模型的语义生成方法、三维模型的语义生成装置、计算机可读存储介质与电子设备，进而至少在一定程度上解决三维模型不具备语义的问题。

根据本公开的第一方面，提供一种三维模型的语义生成方法，包括：获取多张二维图像与三维模型，所述三维模型是通过所述多张二维图像进行三维重建所得到的模型，所述三维模型包括多个面片；基于第一映射关系、第二映射关系、第三映射关系中的至少两种映射关系与所述二维图像的语义，生成所述面片中至少两种元素的语义，所述面片中的元素包括点、线与纹理区域，所述第一映射关系为所述面片中的点与所述二维图像中的像素点的映射关系，所述第二映射关系为所述面片中的线与所述二维图像中的线的映射关系，所述第三映射关系为所述面片中的纹理区域与所述二维图像中的图像区域的映射关系；融合所述至少两种元素的语义，以输出所述三维模型的语义。

根据本公开的第二方面，提供一种三维模型的语义生成装置，包括：数据获取模块，被配置为获取多张二维图像与三维模型，所述三维模型是通过所述多张二维图像进行三维重建所得到的模型，所述三维模型包括多个面片；元素语义生成模块，被配置为基于第一映射关系、第二映射关系、第三映射关系中的至少两种映射关系与所述二维图像的语义，生成所述面片中至少两种元素的语义，所述面片中的元素包括点、线与纹理区域，所述第一映射关系为所述面片中的点与所述二维图像中的像素点的映射关系，所述第二映射关系为所述面片中的线与所述二维图像中的线的映射关系，所述第三映射关系为所述面片中的纹理区域与所述二维图像中的图像区域的映射关系；元素语义融合模块，被配置为融合所述至少两种元素的语义，以输出所述三维模型的语义。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的三维模型的语义生成方法及其可能的实现方式。

根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面的三维模型的语义生成方法及其可能的实现方式。

本公开的技术方案具有以下有益效果：

对三维模型的面片中不同种类元素分别生成语义，再融合不同种类元素的语义，输出三维模型的语义，提供了一种为三维模型生成语义的方案。一方面，面片中的点、线、纹理区域可以从不同的信息维度上与二维图像中的像素点、线、图像区域形成映射关系，由此，在不同的信息维度上得到不同种类元素的语义，能够克服单一映射关系的局限性，提高语义的准确性。另一方面，将复杂的三维语义分割问题转换到二维图像上解决，减少了计算量与耗时，提高了处理效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

图1示出本示例性实施方式中一种系统架构的示意图；