[发明专利]一种利用语义图进行三维场景编辑的方法

权利要求书

1.一种利用语义图进行三维场景编辑的方法，其特征在于，包括以下步骤：

(1)泛化训练阶段，构建由2D卷积模块、3D卷积模块和MLP构成的三维场景语义编辑网络，输入场景的RGB图片、语义图和每张图对应的相机位姿，训练2D卷积模块、3D卷积模块和MLP，包括：

(1.1)通过2D卷积模块获取输入RGB图片的2D特征图；

(1.2)使用单应性变换把不同视角的2D特征图转换到参考视角，然后通过计算不同视角2D特征图之间的方差得到损失立方体；

(1.3)通过3D卷积模块提取损失立方体的特征得到神经编码立方体；

(1.4)根据某张图片对应的相机位姿形成一条射线，在射线上对神经编码立方体进行均匀采样，得到每个采样点的特征值f_k和三维坐标x_k，对采样点三维坐标x_k、射线方向d_k进行位置编码；

(1.5)将采样点的特征值f_k、采样点三维坐标的位置编码结果γ(x_k)、射线方向的位置编码结果γ(d_k)和输入图片的RGB值作为多层感知机MLP的输入，其中γ(·)为位置编码函数，输出体密度值σ_k、颜色值r_k和语义值s_k；

(1.6)根据MLP输出的体密度值σ_k、颜色值r_k和语义值s_k，使用体渲染方法得到一条射线对应二维像素点的颜色值c_t和语义值s_t：透明度对该颜色值c_t与真实颜色值计算L2范数得到颜色损失值：对该语义值s_t与真实语义值计算交叉熵损失函数得到语义损失值其中代表体渲染得到的该点语义是l类别的概率，代表真实语义图在该点是l类别的概率，L为语义类别总数；对颜色损失值和语义损失值加权求和得到总损失值：L_total＝L_c+λL_s，λ为语义损失权重；

(1.7)通过梯度反向传播方法使用总损失值更新2D卷积模块、3D卷积模块和MLP内的参数；

(1.8)利用多场景数据重复以上步骤训练网络，提升网络对场景几何信息学习的能力，进而提高场景泛化能力；

(2)微调阶段，输入待编辑场景的RGB图片、语义图和对应的相机位姿，重复步骤(1.1)～(1.6)得到总损失值，但梯度反向传播时不更新2D卷积模块和3D卷积模块内的参数，只更新MLP内的参数，提升三维场景语义编辑网络对该待编辑场景的表达能力；

(3)优化阶段，具体为：用户对语义图进行编辑；将采样点的特征值f_k、采样点三维坐标的位置编码结果γ(x_k)、射线方向的位置编码结果γ(d_k)和输入图片的RGB值作为MLP的输入，从MLP的输出得到体密度值σ_k和语义值s_k，使用体渲染方法得到射线对应像素的语义值s_t：透明度计算得到优化阶段的损失值其中代表体渲染得到的该点语义是l类别的概率，代表编辑后的语义图在该点是l类别的概率，再通过梯度反向传播方法使用该损失值更新MLP内的参数，完成对隐式三维场景的编辑；

(4)渲染阶段，用户给定任意相机位姿后，利用新的相机位姿对神经编码立方体进行采样得到特征值f′_k，将采样点的特征值f′_k、采样点三维坐标的位置编码结果γ(x′_k)、射线方向的位置编码结果γ(d′_k)和待编辑场景图片的RGB值输入MLP，输出场景编辑后的体密度值σ′_k和颜色值r′_k，使用体渲染公式即可得到用户指定相机位姿下场景编辑后的RGB图片某个像素点的RGB值c′_t，对图片所有像素点都进行上述操作后即得到整张场景编辑后的RGB图片。

2.根据权利要求1所述的一种利用语义图进行三维场景编辑的方法，其特征在于，所述步骤(1)中，泛化训练的场景可以与编辑的场景不同。