[发明专利]一种基于动态感知机图的实时渲染方法及装置

权利要求书

1.一种基于动态感知机图的实时渲染方法，其特征在于，该方法包括以下步骤：

(1)对于目标动态场景，使用同步的多视角相机获取多视角视频；

(2)对于多视角视频的视频帧，基于二维深度卷积网络预测动态感知机图。动态感知机图是每个视频帧上的二维图像，每个图像像素记录了感知机网络的参数；

(3)基于感知机图表示神经体积视频中的每一帧三维场景，实现动态场景的实时渲染。

2.根据权利要求1所述的一种基于动态感知机图的实时渲染方法，其特征在于，步骤(2)中，所述基于二维深度卷积网络预测动态感知机图，具体为：为了从多视角视频中得到体积视频，对于任意一个视频帧，从输入视角中选择一组图片，使用二维卷积编码网络得到特征向量，然后将特征向量输入到二维卷积解码网络，输出该视频帧的感知机图。

3.根据权利要求1所述的一种基于动态感知机图的实时渲染方法，其特征在于，步骤(3)中，所述基于感知机图表示神经体积视频中的每一帧三维场景，具体为：对于三维场景中的任意一个三维点，从感知机图中选择相应的网络参数，用于预测三维点的体素密度和颜色。

4.根据权利要求1所述的一种基于动态感知机图的实时渲染方法，其特征在于，通过三张相互正交的感知机图表示三维场景，具体为：正交表示三张感知机图所在二维平面相互垂直；对于任意的三维点，将其分别投影到三张正交的感知机图平面上，并分别回归体素密度和颜色，最后相加得到该三维点的体素密度和颜色。

5.一种基于动态感知机图的实时渲染装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，实现如权利要求1-4中任一项所述的一种基于动态感知机图的实时渲染方法。

6.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时，实现如权利要求1-4中任一项所述的一种基于动态感知机图的实时渲染方法。