[发明专利]神经不透明点云

说明书

提供一种新颖实用的神经渲染(NR)技术，称为神经不透明点云(NOPC)，其可在任何视角下实现毛茸对象高质量渲染。NOPC采用基于学习的方案提取三维点云的包括其不透明度在内的几何形状和外观特征。随后，其将所述三维特征映射至以新的基于U‑Net的NR在处理高噪声和不完整几何形状的同时保持平移同变的虚拟视角。与现有基于图像的技术，如需要拍摄大量的密集采样视角才能对不准确的几何形状进行处理的基于图像的不透明外壳(IBOH)技术不同，NOPC即使在低质量重建情形中，仍能实现高质量的渲染。

技术领域

本发明总体涉及图像处理、计算机图形学及计算机视觉领域，尤其涉及经神经不透明点云实现的多视角毛茸对象渲染。

背景技术

随着被动式和主动式三维扫描的最新进展，复杂对象的高质量三维重建变得越来越触手可及。然而，逼真且准确的外观捕获仍是个难题。最新的解决方案要么依赖于使用复杂的照明系统及数据处理技术，要么需要通过大量的人工参与实现参数化外观模型与实际对象的拟合。一种尤为困难的情形为毛发、毛皮及羽毛等毛茸物质。此类对象表现出强烈的取决于视角的不透明性，在几何形状和外观两方面均难以建模。

本发明实施方式将基于图像的建模和渲染(IBMR)与神经渲染(NR)相融合，以生成毛茸对象的照片级写实程度的外观。流明图和光场等传统IBMR技术直接使用真实场景下拍摄的图像，并在使用或不使用几何形状代替物的情形下，根据所拍摄的视角插值生成新的视角。为了处理不透明对象，基于图像的不透明外壳(IBOH)技术在不同视角下获取对象的图像及其相应的阿尔法遮罩(Alpha Matte)，构建体积表现形式，并计算每一体素的角度性不透明度图。IBOH最常见的视觉伪影为视角样本不足导致的重影或混叠。这一问题通常可通过高质量的几何形状代替物得到缓解。然而，由于毛皮和毛发包含数以万计的细小纤维，而且其彼此之间的遮挡是造成半透明性的根本原因，因此对于毛茸对象而言，极其难以获得其精准的几何形状。在无毛茸对象的精准几何形状代替物模型的情况下，IBOH所渲染的阿尔法遮罩存在模糊之处过多的问题。

需要注意的是，本背景技术部分公开的以上信息仅旨在促进对本发明背景技术的理解，因此其可能包含本领域普通技术人员已经了解的信息。

发明内容

鉴于现有技术的上述限制，本发明提供解决上述限制的经神经不透明点云实现的多视角毛茸对象渲染。本发明的其他特征和优点将根据以下详细描述变得显而易见。

本发明的一个方面涉及一种对象渲染方法。该方法可包括：在对象点云中的每一点中编码特征向量；将所述点云中的各点以及所述相应特征向量投影至目标视角，以计算特征图；以及利用神经渲染网络，将所述特征图解码为RGB图像和阿尔法遮罩且更新所述各点的向量。所述特征向量可包括阿尔法遮罩。

在一些实施方式中，该方法可进一步包括：将所述点云中的点栅格化为所述特征图的图块。所述图块的尺寸可由所述点的深度值决定。

在一些实施方式中，该方法可进一步包括：将所述点云中的每一点与所述特征图的一组像素相关联。

在一些实施方式中，该方法可进一步包括：将所述特征图的损失函数的梯度反向传播至所述点云的梯度。

在一些实施方式中，所述神经渲染网络可包括用于处理所述RGB图像的第一编码器和第一解码器，以及用于处理所述阿尔法遮罩的第二编码器和第二解码器。

在一些实施方式中，所述第一编码器可采用U-Net架构，且同时将U-Net架构中的卷积层替换为门控卷积层。

在一些实施方式中，所述第一编码器可包括一个输入卷积模块和四个下采样模块。

在一些实施方式中，所述第一解码器可包括一个输出卷积模块和四个上采样模块。

在一些实施方式中，该方法可进一步包括：通过将来自所述第一编码器和前一上采样模块这两者的过渡特征图相联合，获得所述第一解码器的上采样模块的输入。