[发明专利]一种基于语义属性的不可见场景表达方法及系统

权利要求书

1.一种基于语义属性的不可见场景表达方法，其特征在于，包括：

在场景表达网络基础模型上，增加语义映射网络，得到语义属性嵌入式场景表达网络；

对构建的语义属性嵌入式场景表达网络进行训练，建立语义属性空间到隐式表达空间的映射；

将不可见场景的语义属性输入到训练好的语义属性嵌入式场景表达网络中，合成不可见场景的视图。

2.如权利要求1所述的一种基于语义属性的不可见场景表达方法，其特征在于，所述场景表达网络基础模型，包括2D-3D投影模块、场景表征函数、超网络、可微分Ray Marching、像素生成器，以目标相机视角的参数和初始深度图为输入，输出场景的视图。

3.如权利要求1所述的一种基于语义属性的不可见场景表达方法，其特征在于，所述语义映射网络,连接场景表达网络基础模型中的超网络,具体方式为：

将场景的语义描述向量，输入到语义映射网络中，得到场景的隐式编码；

通过超网络对隐式编码进行解码，得到场景表征函数的权重参数值。

4.如权利要求1所述的一种基于语义属性的不可见场景表达方法，其特征在于，所述语义映射网络，由多层全连接神经网络组成。

5.如权利要求3所述的一种基于语义属性的不可见场景表达方法，其特征在于，所述语义描述向量，包含场景中物体的种类、尺寸、位置、颜色及材质信息。

6.如权利要求1所述的一种基于语义属性的不可见场景表达方法，其特征在于，还包括，在场景表达网络基础模型的像素生成器前，加入组合表达模块。

7.如权利要求1所述的一种基于语义属性的不可见场景表达方法，其特征在于，所述组合表达模块，采用将单个多物体场景表达转化为多个并行单物体场景表达的组合式表达策略，通过输入并行的单物体场景语义描述向量，并获取并行单物体场景的场景表达向量，最后进行加权融合得到该多物体场景的场景表达向量。

8.一种基于语义属性的不可见场景表达系统，其特征在于，包括网络构建模块、网络训练模块和视图合成模块：

网络构建模块,被配置为：在场景表达网络基础模型上，增加语义映射网络，得到语义属性嵌入式场景表达网络；

网络训练模块,被配置为：对构建的语义属性嵌入式场景表达网络进行训练，建立语义属性空间到隐式表达空间的映射；

视图合成模块,被配置为：将不可见场景的语义属性输入到训练好的语义属性嵌入式场景表达网络中，合成不可见场景的视图。

9.计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的一种基于语义属性的不可见场景表达方法中的步骤。

10.电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的一种基于语义属性的不可见场景表达方法中的步骤。