[发明专利]神经不透明点云

权利要求书

1.一种对象渲染方法，其特征在于，该方法包括：

在针对对象的点云的每一点中编码特征向量，其中，所述特征向量包括阿尔法遮罩；

将所述点云中的各点以及相应的所述特征向量投影至目标视角，以计算特征图；以及

利用神经渲染网络，将所述特征图解码为RGB图像和阿尔法遮罩且更新所述各点的向量。

2.如权利要求1所述的方法，其特征在于，还包括：

将所述点云中的点栅格化为所述特征图的图块，其中，所述图块的尺寸由所述点的深度值决定。

3.如权利要求1所述的方法，其特征在于，还包括：

将所述点云中的每一点与所述特征图的一组像素相关联。

4.如权利要求1所述的方法，其特征在于，还包括：

将所述特征图的损失函数的梯度反向传播至所述点云的梯度。

5.如权利要求1所述的方法，其特征在于，所述神经渲染网络包括用于处理所述RGB图像的第一编码器和第一解码器，以及用于处理所述阿尔法遮罩的第二编码器和第二解码器。

6.如权利要求5所述的方法，其特征在于，所述第一编码器采用U-Net架构，且同时将U-Net架构中的卷积层替换为门控卷积层。

7.如权利要求6所述的方法，其特征在于，所述第一编码器包括一个输入卷积模块和四个下采样模块。

8.如权利要求6所述的方法，其特征在于，所述第一解码器包括一个输出卷积模块和四个上采样模块。

9.如权利要求5所述的方法，其特征在于，还包括：

通过将来自所述第一编码器和前一上采样模块的过渡特征图相联合，获得所述第一解码器的上采样模块的输入。

10.如权利要求5所述的方法，其特征在于，所述第二编码器包括一个输入卷积模块和两个下采样模块。

11.如权利要求10所述的方法，其特征在于，所述第二解码器包括一个输出卷积模块和两个上采样模块。

12.如权利要求10所述的方法，其特征在于，还包括：

通过将来自所述第一编码器和所述第二编码器的过渡特征图相联合，获得所述第二解码器的上采样模块的输入。

13.如权利要求1所述的方法，其特征在于，还包括：

由多台相机在多个视角下拍摄所述对象的多幅图像；以及

通过基于图像的可见外壳构建，构建所述点云。

14.如权利要求13所述的方法，其特征在于，还包括：

以恒定速度转动所述对象；以及

由所述多台相机在多个视角下以固定间隔拍摄所述对象的所述多幅图像。

15.如权利要求14所述的方法，其特征在于，还包括：

由校准相机以所述固定间隔拍摄以所述恒定速度转动的校准图案的图像。

16.如权利要求13所述的方法，其特征在于，还包括：

通过以运动恢复结构技术计算所述校准相机的外参，对所述多幅图像进行校准。

17.如权利要求13所述的方法，其特征在于，还包括：

通过获得二进制前景掩模的初始值且以深度神经网络将所述二进制前景掩模精细化，生成每幅图像的阿尔法遮罩。

18.如权利要求17所述的方法，其特征在于，还包括：

根据所述二进制前景掩模生成三色图。