[发明专利]一种光线追踪渲染连续帧的去噪方法及系统

权利要求书

1.一种光线追踪渲染连续帧的去噪方法，其特征在于，包括：

获取当前帧的双运动矢量和上一帧的去噪结果，计算上一帧的扭曲重投影；

获取当前帧的噪声图和辅助特征，联合上一帧的扭曲重投影，拼接为一个张量；

将所述张量输入时空多尺度去噪网络，得到当前帧的去噪结果；其中，时空多尺度去噪网络包括核预测网络和时空多尺度混合网络；

所述核预测网络用于提取所述张量的特征，得到逐像素空间核、逐像素时间核、时间混合权重和层间混合权重；

所述时空多尺度混合网络将逐像素空间核应用于多尺度噪声图，并使用层间混合权重加权求和，获得空间多尺度混合结果；同时，将所述逐像素时间核应用于上一帧的扭曲重投影，获得时间滤波结果；使用时间混合权重，将空间多尺度混合结果和时间滤波结果进行加权求和，获得时空多尺度混合结果，并将其作为当前帧的去噪结果。

2.如权利要求1所述的一种光线追踪渲染连续帧的去噪方法，其特征在于，所述计算上一帧的扭曲重投影的具体方法为：

创建一个存储像素坐标的二维张量并与所述双运动矢量直接相加，获得当前帧与上一帧的像素坐标映射关系；

使用所述像素坐标映射关系，将所述上一帧的去噪结果与当前帧快速对齐，获得上一帧的扭曲重投影。

3.如权利要求1所述的一种光线追踪渲染连续帧的去噪方法，其特征在于，所述时空多尺度去噪网络的损失函数采用空间损失、时间损失和运动遮挡损失的和。

4.如权利要求3所述的一种光线追踪渲染连续帧的去噪方法，其特征在于，所述运动遮挡损失的具体计算方法为：

获取当前帧和多个相邻帧的运动矢量、当前帧的去噪结果和对照图；

基于所述当前帧和多个相邻帧的运动矢量，计算当前帧的时域渐进带权蒙版；

使用哈达玛积将时域渐进带权蒙版分别与当前帧的去噪结果和对照图按矩阵对应像素相乘；

基于蒙版后的去噪结果和对照图，计算运动遮挡损失。

5.如权利要求4所述的一种光线追踪渲染连续帧的去噪方法，其特征在于，所述当前帧的时域渐进带权蒙版为多个蒙版的加权和；

所述蒙版为所述当前帧或相邻帧的双运动矢量与SVGF运动矢量的差值。

6.如权利要求1所述的一种光线追踪渲染连续帧的去噪方法，其特征在于，所述辅助特征包括当前帧的反照率、深度和法向。

7.一种光线追踪渲染连续帧的去噪系统，其特征在于，包括：

扭曲重投影计算模块，其被配置为：获取当前帧的双运动矢量和上一帧的去噪结果，计算上一帧的扭曲重投影；

拼接模块，其被配置为：获取当前帧的噪声图和辅助特征，联合上一帧的扭曲重投影，拼接为一个张量；

时空多尺度去噪模块，其被配置为：将所述张量输入时空多尺度去噪网络，得到当前帧的去噪结果；

其中，时空多尺度去噪网络包括核预测网络和时空多尺度混合网络；

所述核预测网络用于提取所述张量的特征，得到逐像素空间核、逐像素时间核、时间混合权重和层间混合权重；

所述时空多尺度混合网络将所述逐像素空间核应用于多尺度噪声图，并使用层间混合权重加权求和，获得空间多尺度混合结果；同时，将所述逐像素时间核应用于上一帧的扭曲重投影，获得时间滤波结果；使用时间混合权重，将空间多尺度混合结果和时间滤波结果进行加权求和，获得时空多尺度混合结果，并将其作为当前帧的去噪结果。

8.如权利要求7所述的一种光线追踪渲染连续帧的去噪系统，其特征在于，所述时空多尺度去噪网络的损失函数为空间损失、时间损失和运动遮挡损失的和。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的一种光线追踪渲染连续帧的去噪方法中的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一项所述的一种光线追踪渲染连续帧的去噪方法中的步骤。