[发明专利]一种正则化的图像渲染方法及装置

说明书

一种正则化的图像渲染方法及装置，涉及计算机图形学技术领域。该方法包括：获取场景图像序列；获取场景图像序列的对应场景中的坐标点的位置信息；将坐标点的位置信息输入至神经网络模型进行训练，以得到采样点的颜色，神经网络模型的总损失函数与颜色损失函数、正则化损失函数、散度损失函数有关；对采样点的颜色积分，以得到新视角图像渲染结果。由此，经过在神经辐射场中进行正则化调优训练，可以得到鲁棒性良好的泛化模型，能够提高图像渲染的精确程度。

技术领域

本申请涉及计算机图形学技术领域，特别是涉及一种正则化的图像渲染方法及装置。

背景技术

三维场景的新视角图像渲染技术是计算机视觉领域和计算机图形学领域的重要研究方向，有助于虚拟体验真实场景、实现沉浸式通信、改善游戏和娱乐体验等。

目前，可以将拍摄场景图像序列的相机参数输入至神经辐射场(NeRF)进行训练，从而高质量地表示三维场景，并通过体渲染的图形学方法，合成得到高精度的图像渲染结果。

然而，一方面，使用相机拍摄场景图像序列或场景视频时容易出现相机运动模糊、失焦模糊、光照不均匀等问题，导致图像渲染质量下降；另一方面，如果输入至神经辐射场的图像视角过多，不仅会导致神经辐射场模型训练速度降低，还可能在渲染新视角图像时产生漂浮物的伪影或背景塌陷等，同样导致图像渲染质量下降。

发明内容

本申请提供了一种正则化的图像渲染方法及装置，能够在减少输入图像视角数量的同时，提高图像渲染的质量。

本申请公开了如下技术方案：

第一方面，本申请公开了一种正则化的图像渲染方法，所述方法包括：

获取场景图像序列；

获取所述场景图像序列的对应场景中的坐标点的位置信息；

将所述坐标点的位置信息输入至神经网络模型进行训练，以得到采样点的颜色，所述神经网络模型的总损失函数与颜色损失函数、正则化损失函数、散度损失函数有关；

对所述采样点的颜色积分，以得到新视角图像渲染结果。

优选的，所述总损失函数的公式具体如下：

L_total＝L_rgb+α_step1*L_reg+α_step2*L_js

其中，L_total是总损失函数，L_rgb是颜色损失函数，α_step1是第一损失权重，L_reg是正则化损失函数，α_step2是第二损失权重，L_js是散度损失函数。

优选的，所述颜色损失函数的公式具体如下：

其中，L_rgb是颜色损失函数，x是所述坐标点沿着视角方向发射的颜色值。

优选的，所述正则化损失函数的公式具体如下：

其中，L_reg是正则化损失函数，c_i是第一采样点到相机的距离，c_j是第二采样点到相机的距离，c_i+1是光线上位于所述第一采样点后一个单位长度的采样点到相机的距离，c_j+1是光线上位于所述第二采样点后一个单位长度的采样点到相机的距离，w_i是所述第一采样点的神经网络模型权重，w_j是所述第二采样点的神经网络模型权重。

优选的，所述获取场景图像序列，包括：