[发明专利]基于可微渲染的单张积云图像重建方法

说明书

本公开的实施例公开了基于可微渲染的单张积云图像重建方法。该方法的一具体实施方式包括：获取单张的自然积云图像；通过编码‑解码器结构的卷积神经网络确定图像的密度；确定三维空间中积云结构的损失函数；通过反向模型，确定等式中各变量梯度，并利用梯度优化算法对积云结构进行迭代更新；将积云模型投影至二维平面，以生成深度图和轮廓图；使用纹理生成网络，生成相应的积云图像。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及基于可微渲染的单张积云图像重建方法。

背景技术

积云的三维重建在计算机图形学领域一直是学者们关注的研究问题之一。在自然条件下，目前的观测设备很难对云的全貌进行观测，想要获取同一朵云的多视点图像则需要付出高昂的代价，通过无人机或航拍才有可能得到同一朵云的多视点图像，由此可知云的真实三维数据是不易获取且昂贵的。因此针对单张自然图像的积云建模就显得尤其具有研究价值。

近年来，可微渲染网络得到了研究者们的关注，并在此方面展开了一系列研究，使用近似梯度进行替换传统的栅格化渲染、或提出了可微的投影操作以获取轮廓、法线等信息。可微渲染在深度学习的三维重建中起着重要的桥梁作用，可以连接三维模型数据与二维的图像数据，这让使用图像训练三维模型重建网络成为可能。

本工作仅在计算机图形学范畴内针对积云这种自然现象的表观建模进行研究，拟结合可微渲染网络得到积云的渲染图像，从而使用渲染出来的积云图像与真实的积云数据集图像传入判别器进行判别，判别后将梯度反传对积云结构生成网络进行无监督训练。本研究提出了一个基于可微渲染网络的无监督积云重建框架，包含了积云结构生成网络、积云渲染网络两部分。

本发明与现有技术相比的优点在于：

(1)本发明降低了网络训练门槛，减少了数据集的制作难度，以可微渲染技术为桥梁连通二维与三维数据的鸿沟，并提出一个无监督的单张积云图像建模框架。

(2)本发明考虑了参与性介质的物理特性，参与性介质会与光发生交互，如吸收、发射、散射从而改变光能的的强度大小，重建积云的密度场，提高了重建结果的真实感。

(3)构造可微的积云投影模块，适用于流体的深度和轮廓提取操作，该可微模块可与神经网络进行衔接一起构造训练网络。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提出了基于可微渲染的单张积云图像重建方法方法，来解决以上背景技术部分提到的技术问题中的一项或多项。

第一方面，本公开的一些实施例提供了一种基于可微渲染的单张积云图像重建方法，该方法包括：获取单张的自然积云图像；通过编码-解码器结构的卷积神经网络确定图像的密度；确定三维空间中积云结构的损失函数；通过反向模型，确定等式中各变量梯度，并利用梯度优化算法对积云结构进行迭代更新；将积云模型投影至二维平面，以生成深度图和轮廓图；使用纹理生成网络，生成相应的积云图像。

本发明的出发点为这样一个前提条件：即估计的积云体积密度分布V在固定视角α下投影到成像平面的轮廓与目标积云图像的轮廓S相一致。换而言之，预测的积云体积密度分布V在固定视角α下，其生成的投影轮廓与ground truth S越接近，则预测的积云体积密度分布越接近于图像I的真实密度分布。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。

图1是本公开的一些实施例的基于可微渲染的单张积云图像重建方法的一个应用场景的示意图；