[发明专利]一种利用语义图进行三维场景编辑的方法

说明书

本发明公开了一种利用语义图进行三维场景编辑的方法。该方法能够允许用户通过编辑一张二维语义图完成对隐式三维场景的编辑，在任意新视角下渲染出编辑后的二维照片。本方法主要包括泛化训练、微调、优化和渲染四个步骤。泛化训练时，本方法利用多个场景的数据进行训练，提升网络对场景几何的学习能力，进而加快对新场景的训练收敛速度。微调时，本方法把新场景的RGB图片和语义图作为监督，对网络中的MLP进行训练，提升网络对新场景的表达能力。优化时，本方法把用户编辑后的语义图作为监督，对网络中的MLP进行训练，完成三维场景的编辑。渲染时，本方法可以根据输入的任意相机位姿渲染出场景编辑后的二维RGB照片。本方法可在AR/VR设备中用于场景编辑。

技术领域

本发明属于三维重建与编辑领域，尤其涉及一种利用语义图进行三维场景编辑的方法。

背景技术

随着元宇宙热潮的出现，实现现实场景的高质量三维重建对于现实世界数字化起到至关重要的作用。2020年，神经辐射场(NeRF)技术率先将神经网络引入三维重建领域，实现了仅使用几张RGB图片就可以对现实场景进行高质量重建，用户可以在新视角下得到高分辨率的渲染结果；2021年，MVSNeRF技术把MVSnet这一用于深度预测的网络融入到NeRF框架中，大幅提升了网络的训练速度；2021年，semanticNeRF技术使NeRF不仅可以渲染新视角的RGB图片，还可以渲染新视角的语义图片。近年来，还有其他很多技术研究了如何提高NeRF的渲染质量，如何提升NeRF的训练速度，如何扩大NeRF的应用场景等等，但目前还很少有技术尝试通过编辑语义图，来完成对NeRF中三维隐式场景的编辑。

实现对三维场景的编辑具有非常高的商业应用价值，在AR应用中添加场景编辑功能可以极大提升用户的体验，目前对三维场景进行编辑的技术主要包括建模师构建三维物体模型，手机APP通过ARcore等工具包将三维物体放入场景中；建模师手动构造三维场景，再通过三维编辑软件手动修改三维物体的信息等。但针对NeRF技术构建的三维隐式场景进行编辑的技术还较少，最近的技术包括为每个物体构建MLP，通过操作每个物体对应MLP进行场景编辑的object-NeRF；使用GAN进行人脸编辑的IDE-3D技术。但目前还没有技术能够通过编辑语义图完成室内外隐式三维场景的可泛化编辑，并实现任意视角下具有视角一致性的二维照片渲染功能。

发明内容

本发明的目的在于针对使用NeRF技术构建的三维隐式场景，提供一种利用语义图进行三维场景编辑的方法。

本发明的目的是通过以下技术方案实现的：一种利用语义图进行三维场景编辑的方法，其特征在于，包括以下步骤：

(1)泛化训练阶段，构建由2D卷积模块、3D卷积模块和MLP构成的三维场景语义编辑网络，输入场景的RGB图片、语义图和每张图对应的相机位姿，训练2D卷积模块、3D卷积模块和MLP，提升网络对场景几何信息的学习能力，进而加快后续步骤的训练速度，包括：

(1.1)通过2D卷积模块获取输入RGB图片的2D特征图；

(1.2)使用单应性变换把不同视角的2D特征图转换到参考视角，然后通过计算不同视角2D特征图之间的方差得到损失立方体；

(1.3)通过3D卷积模块提取损失立方体的特征得到神经编码立方体；

(1.4)根据某张图片对应的相机位姿形成一条射线，在射线上对神经编码立方体进行均匀采样，得到每个采样点的特征值f_k和三维坐标x_k，对采样点三维坐标x_k、射线方向d_k进行位置编码；

(1.5)将采样点的特征值f_k、采样点三维坐标的位置编码结果γ(x_k)、射线方向的位置编码结果γ(d_k)和输入图片的RGB值作为多层感知机MLP的输入，其中γ(·)为位置编码函数，输出体密度值σ_k、颜色值r_k和语义值sk；