[发明专利]一种基于语义属性的不可见场景表达方法及系统

说明书

本发明提出了一种基于语义属性的不可见场景表达方法及系统，涉及计算机视觉技术领域,在场景表达网络基础模型上，增加语义映射网络，得到语义属性嵌入式场景表达网络；对构建的语义属性嵌入式场景表达网络进行训练，建立语义属性空间到隐式表达空间的映射；将不可见场景的语义属性输入到训练好的语义属性嵌入式场景表达网络中，合成不可见场景的视图；本发明利用语义属性来建立已见场景和不可见场景之间的联系，将神经场景表达由单一的视觉模态扩展为视觉、文本双模态，利用语义信息实现了对不可见场景的表达，将场景表达泛化到没有视图的不可见场景，解决了目前场景表达方法中对视图依赖的问题。

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种基于语义属性的不可见场景表达方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

近年来，神经场景表达发展越来越快，在计算机视觉和图形学领域中的影响也越来越明显，由于实际的应用场景往往是会改变的，所以跨场景泛化是神经场景表达中的一个重要问题。

跨场景泛化方法可分为两类：全局泛化方法和局部泛化方法；全局泛化，是通过获取各个场景的全局表达特征并将其作为条件，输入到场景表达模型中进行解码，以实现各个场景的新视点合成，其中获取全局表达特征的方式可分为两种，第一种为平摊推理，如GQN、NeRF-VAE；第二种为自动解码，如SRNs、LFNs。

第二类跨场景泛化方法是局部泛化，局部泛化是利用场景的局部属性来实现对新场景的表达，但也同样需要场景的部分视图及位姿，而且已有的视图越多，表达效果越好。

以上提到的跨场景泛化方法，都必须要有新场景在部分视角下的图像和位姿信息，属于可见场景之间的泛化表达，而对于没有任何视图和位姿信息的不可见场景，目前的方法都难以进行泛化表达。

因此，对不可见场景的精确泛化问题，是一个值得进一步研究的课题。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于语义属性的不可见场景表达方法及系统，利用语义属性来建立已见场景和不可见场景之间的联系，将神经场景表达由单一的视觉模态扩展为视觉、文本双模态，利用语义信息实现了对不可见场景的表达，将场景表达泛化到没有视图的不可见场景，解决了目前场景表达方法中对视图依赖的问题。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

本发明第一方面提供了一种基于语义属性的不可见场景表达方法；

一种基于语义属性的不可见场景表达方法，包括：

在场景表达网络基础模型上，增加语义映射网络，得到语义属性嵌入式场景表达网络；

对构建的语义属性嵌入式场景表达网络进行训练，建立语义属性空间到隐式表达空间的映射；

将不可见场景的语义属性输入到训练好的语义属性嵌入式场景表达网络中，合成不可见场景的视图。

进一步的，所述场景表达网络基础模型，包括2D-3D投影模块、场景表征函数、超网络、可微分Ray Marching、像素生成器，以目标相机视角的参数和初始深度图为输入，输出场景的视图。

进一步的，所述语义映射网络,连接场景表达网络基础模型中的超网络,具体方式为：

将场景的语义描述向量，输入到语义映射网络中，得到场景的隐式编码；

通过超网络对隐式编码进行解码，得到场景表征函数的权重参数值。

进一步的，所述语义映射网络，由多层全连接神经网络组成。

进一步的，所述语义描述向量，包含场景中物体的种类、尺寸、位置、颜色及材质信息。