[发明专利]一种基于动态感知机图的实时渲染方法及装置

说明书

发明公开了一种基于动态感知机图的实时渲染方法及装置，通过预测逐帧的感知机图来表示体积视频，实现动态三维场景的实时渲染。本发明的实现包括：给定多视角视频，通过二维深度神经卷积网络预测每一帧的感知机图，以此表示每一帧的三维场景；感知机图是一种二维图，每个像素存储一个多层感知机的网络参数；基于感知机图，构造三维场景的几何和外观的神经表示。对于三维场景中的任意一个三维点，从感知机图中选择相应的网络参数，用于预测三维点的体素密度和颜色。本发明通过动态感知机图，实现了神经体积视频的高效建模，提高了动态三维场景的渲染速度本。

技术领域

本发明属于渲染领域，尤其涉及到一种基于动态感知机图的实时渲染方法及装置。

背景技术

本发明提出了动态感知机图表示动态三维场景，实现了动态场景的实时渲染。在相关技术中，大多数方法专注在静态场景的渲染。一些基于神经网络的渲染方法通过引入时间维度的变量实现动态场景渲染，但这些方法渲染速度较慢。虽然这些方法可以通过预计算技术实现加速，但也会导致存储成本的增加。本发明致力于用一组小神经网络表示三维场景，实现低存储成本的情况下的动态场景高效渲染。

发明内容

本发明目的在于针对现有技术的不足，提出了一种基于动态感知机图的实时渲染方法及装置，基于二维深度卷积网络预测逐帧的感知机图，用于表示逐帧的三维场景几何和外观，实现体积视频的实时渲染。

本发明的目的是通过以下技术方案来实现的：第一方面，本发明提供了一种基于动态感知机图的实时渲染方法，该方法包括以下步骤：

(1)对于目标动态场景，使用同步的多视角相机获取多视角视频；

(2)对于多视角视频的视频帧，基于二维深度卷积网络预测动态感知机图。动态感知机图是每个视频帧上的二维图像，每个图像像素记录了感知机网络的参数；

(3)基于感知机图表示神经体积视频中的每一帧三维场景，实现动态场景的实时渲染。

进一步地，步骤(2)中，所述基于二维深度卷积网络预测动态感知机图，具体为：为了从多视角视频中得到体积视频，对于任意一个视频帧，从输入视角中选择一组图片，使用二维卷积编码网络得到特征向量，然后将特征向量输入到二维卷积解码网络，输出该视频帧的感知机图。

进一步地，步骤(3)中，所述基于感知机图表示神经体积视频中的每一帧三维场景，具体为：对于三维场景中的任意一个三维点，从感知机图中选择相应的网络参数，用于预测三维点的体素密度和颜色。

进一步地，通过三张相互正交的感知机图表示三维场景，具体为：正交表示三张感知机图所在二维平面相互垂直；对于任意的三维点，将其分别投影到三张正交的感知机图平面上，并分别回归体素密度和颜色，最后相加得到该三维点的体素密度和颜色。

第二方面，本发明提供了一种基于动态感知机图的实时渲染装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的一种基于动态感知机图的实时渲染方法。

第三方面，本发明提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时，实现所述的一种基于动态感知机图的实时渲染方法。

本发明的有益效果：本发明提出了动态感知机图，从而实现了动态场景的实时渲染。为了得到每一帧的感知机图，本发明基于二维深度卷积网络预测了感知机图。本发明还提出了相互正交的感知机图，通过将三维场景表示为三个正交方向的信号相加，提升了对三维场景的建模能力。

附图说明

图1是本发明从多视角二维图片中生成单张感知机图示意图。

图2是本发明提出的基于相互正交的感知机图，用于回归连续体素密度和颜色示意图。

图3是本发明提出的一种基于动态感知机图的实时渲染装置结构图。