[发明专利]三维模型生成方法及装置、存储介质及电子设备

说明书

本公开提供了一种三维模型生成方法及装置、存储介质及电子设备，涉及场景构建技术领域。该方法包括：获取目标对象的图像以及对应的描述信息，其中，描述信息用于描述目标对象的形状信息和/或外观信息；对目标对象的图像以及对应的描述信息进行特征提取，得到目标对象的形状特征编码和外观特征编码；基于形状特征编码、外观特征编码和目标对象的重建视角，利用神经辐射场方法进行三维隐式重建，生成目标对象的三维模型。本公开生成的目标对象的三维模型能够符合用户的需求，而非随机生成的内容，灵活性大大提高，应用性也大大提高。

背景技术

三维重建和新视角图像渲染一直是计算机图形学领域的核心，也是数十年研究的重点。而随着数字孪生，全息通讯和元宇宙等新概念的提出，工业界也对三维重建和新视角图像渲染的需求逐渐增加。

神经辐射场是三维隐式重建领域的重要方法，使得三维隐式重建能够生成虚拟的三维场景。但目前生成的虚拟三维场景内容是随机的，不可控的，无法满足用户的定制需求，灵活性不高，大大降低应用性。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种三维模型生成方法及装置、存储介质及电子设备，至少在一定程度上克服相关技术中生成结果随机、灵活性不高、应用性不强的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供了一种三维模型生成方法，包括：获取目标对象的图像以及对应的描述信息，其中，所述描述信息用于描述所述目标对象的形状信息和/或外观信息；

对目标对象的图像以及对应的描述信息进行特征提取，得到所述目标对象的形状特征编码和外观特征编码；

基于所述形状特征编码、所述外观特征编码和目标对象的重建视角，利用神经辐射场方法进行三维隐式重建，生成目标对象的三维模型。

在一些实施例中，对目标对象的图像以及对应的描述信息进行特征提取，得到所述目标对象的形状特征编码和外观特征编码，包括：

将目标对象的图像以及对应的描述信息输入图文特征提取模块中，得到所述目标对象的形状特征编码和外观特征编码；

其中，所述图文特征提取模块用于对输入目标对象的图像以及对应的描述信息集映射到同一表征空间进行特征融合的特征提取，得到目标对象的形状特征编码和外观特征编码。

在一些实施例中，所述描述信息为图像信息或文本信息。

相应地，获取目标对象对应的描述信息，包括：

接收用于描述所述目标对象的形状信息和/或外观信息的语音数据；

对所述语音数据进行文字转换，得到所述文本信息。

在一些实施例中，基于所述形状特征编码、所述外观特征编码和目标对象的重建视角，利用神经辐射场方法进行三维隐式重建，生成目标对象的三维模型，包括：将所述形状特征编码、所述外观特征编码和目标对象的重建视角，输入预先训练好的三维生成模型，得到目标对象的三维模型。

其中，所述三维生成模型的预先训练过程，包括：

获取训练样本数据，所述训练样本数据中包括：多个训练样本数据子集；其中，每个训练样本数据子集包括：训练对象的重建视角、训练对象的形状特征编码和外观特征编码，以及训练对象的三维模型；

以训练对象的重建视角、训练对象的形状特征编码和外观特征编码为输入，以训练对象的模拟三维模型为输出，构建用于模拟在训练对象的重建视角下训练对象的三维模型的三维隐式重建网络；