[发明专利]一种光线追踪渲染连续帧的去噪方法及系统

说明书

本发明提供了一种光线追踪渲染连续帧的去噪方法及系统，包括：获取当前帧的双运动矢量和上一帧的去噪结果，计算上一帧的扭曲重投影；获取当前帧的噪声图和辅助特征，联合上一帧的扭曲重投影，拼接为一个张量；将张量输入时空多尺度去噪网络，得到当前帧的去噪结果；其中，时空多尺度去噪网络包括：核预测网络和时空多尺度混合网络，时空多尺度混合网络联合时间滤波结果和空间多尺度混合结果，获得当前帧的去噪结果。在保证获得高质量去噪结果的前提下，消除现有技术存在的过模糊、着色走样和拖尾现象。

技术领域

本发明属于高度真实感渲染后处理去噪技术领域，尤其涉及一种光线追踪渲染连续帧的去噪方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

基于蒙特卡洛(MC)积分的光线追踪技术在基于物理的真实感渲染中应用广泛。传统的MC路径追踪需要耗时的计算和大量每像素样本数(sample per pixel，spp)以获得可观的渲染结果，但由于实时帧率的需求(30FPS)和目前硬件设备的限制，实时光线追踪(Real-Time Ray Tracing，RTRT)仅能使用1spp，极低采样率将导致高方差，视觉上表现为干扰噪声。

一些方法(例如，时间反走样(Temporal Anti-Aliasing，TAA)和基于神经网络的后处理去噪方法)的提出能够在交互速率甚至实时速率下获取可用的无噪声光线追踪渲染连续帧序列。从光线追踪渲染连续帧的特点可知，除了噪声(nosing)以外还需要去除连续帧之间的闪烁(flicking)。运动矢量(Motion vector)引入历史帧信息以供时间域上的重用，为去除帧间闪烁起到关键作用。传统基于屏幕的运动矢量(SVGF)是一个二维向量，从当前帧的每个像素坐标指向物体在前一帧对应的像素坐标，但它在阴影、光泽(glossy)材质反射和运动遮挡处会失效。特别对于运动遮挡区域，该区域定义为：随着运动物体的移动，上一帧被遮挡而在这一帧刚刚出现的背景区域。该区域的SVGF运动矢量总是指向上一帧的运动前景物体，导致了时间信息不可重用，出现严重的拖尾(ghosting)现象。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种光线追踪渲染连续帧的去噪方法及系统，在获得无噪声和时间稳定的序列帧的前提下，可以去除着色走样、过模糊以及拖尾现象，获得高质量去噪结果。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种光线追踪渲染连续帧的去噪方法，其包括：

获取当前帧的双运动矢量和上一帧的去噪结果，计算上一帧的扭曲重投影；

获取当前帧的噪声图和辅助特征，联合上一帧的扭曲重投影，拼接为一个张量；

将所述张量输入时空多尺度去噪网络，得到当前帧的去噪结果；其中，时空多尺度去噪网络包括核预测网络和时空多尺度混合网络；

所述核预测网络用于提取所述张量的特征，得到逐像素空间核、逐像素时间核、时间混合权重和层间混合权重；

所述时空多尺度混合网络将逐像素空间核应用于多尺度噪声图，并使用层间混合权重加权求和，获得空间多尺度混合结果；同时，将所述逐像素时间核应用于上一帧的扭曲重投影，获得时间滤波结果，使用时间混合权重，将空间多尺度混合结果和时间滤波结果进行加权求和，获得时空多尺度混合结果，并将其作为当前帧的去噪结果。

进一步的，所述计算上一帧的扭曲重投影的具体方法为：

创建一个存储像素坐标的二维张量并与所述双运动矢量直接相加，获得当前帧与上一帧的像素坐标映射关系；

使用所述像素坐标映射关系，将所述上一帧的去噪结果与当前帧快速对齐，获得上一帧的扭曲重投影。