[发明专利]基于深度感知的单目视觉图像背景快速虚化的方法及系统

说明书

本发明提出了一种基于深度感知的单目视觉图像背景快速虚化的方法及实现该方法的系统，该方法通过构建单目深度估计学网络进行图片背景虚化的学习，利用进一步修改后的卷积层来学习空间权值的变化。本发明有效减少过分依赖一定场景的数据集而导致的泛化性能较差的问题，以及利用大量数据集训练端到端的神经输出网络，达到减少复杂度提高运行速度的目的。

技术领域

本发明涉及一种基于对抗生成网络的散景效果渲染方法及系统，涉及一般的图像数据处理和基于机器深度学习的图像重建技术，尤其涉及基于神经网络构建的散景效果处理分析领域。

背景技术

背景虚化是摄影领域的一项重要技巧，通常拍摄者为了突出图像中的某一区域而将图像中的不感兴趣的部分模糊处理即背景虚化。

现有技术中，背景虚化的算法局限于对含人像的数据，或是将深度估计和图像显著性分割作为先验知识和原始图像一起作为输入数据训练一个端到端的网络。然而这两种思路衍生的方法缺点很明显。第一类方法的数据集没有包含一般场景中的图像如自然风光，导致这类算法通常对除人像外的图像不起作用。第二类方法，只是将深度估计和图像显著性作为先验知识输入一个端到端的神经网络训练，其可解释性较差，且运行速度较慢。

发明内容

发明目的：一个目的是提出一种基于深度感知的单目视觉图像背景快速虚化的方法，以解决现有技术存在的上述问题。进一步目的是提出一种实现上述方法的系统。

技术方案：一种基于深度感知的单目视觉图像背景快速虚化的方法包括以下步骤：

步骤一、建立模型训练数据集；

步骤二、构建深度感知的单目视觉图像训练网络；

步骤三、经过训练的神经网络模型接收待进行散景渲染的图片，完成散景渲染后将图片输出。

在进一步的实施例中，所述步骤一进一步为：建立用于步骤二中模型训练的图片数据集，为提高对真实场景中包含数据的学习，采用数据集均为真实场景图片。数据集中图片均已成对的方式存储，即分别为原始图片和对应带有散景渲染效果的图片。其中该数据集中的原始图片作为模型训练过程中的输入数据，数据集中带有散景效果的图片作为模型训练过程中用于与模型输出图片进行比对的对比数据。

在进一步的实施例中，所述步骤二进一步为：

构建深度感知的单目视觉图像训练网络，训练该网络形成产生散景效果渲染的网络模型。该网络的训练方式为首先接收步骤一建立数据集中的输入图片数据I_org；其次，通过设计的卷积层和激活函数的协同方式进行特征图像的提取；然后，利用损失函数激活学习权重；最后，通过模糊函数的迭代形成预定模糊程度效果的呈现，并通过权重与模糊函数迭代结果的加权和实现最终图像的输出。通过上述流程完成网络学习训练，得到输出图片为I_bokeh的网络模型，其中I_bokeh为带有散景效果渲染的图片。产生带有散景渲染效果图片的模型具体可以构建为：

即将步骤一建立的数据集中的对比数据看作为数据集中输入数据平滑版本的加权和。其中，I_org表示原始图像，表示矩阵逐元素相乘，B_i(·)表示第i级模糊函数，W_i表示第i层数据图像的特征权重矩阵值，且W_i还满足所采用的第i级模糊函数B_i(·)为浅层模糊神经网络循环迭代i次获得的，其具体表示为：

训练过程中，损失函数l采用重构函数和结构相似性SSIM的结合，提高输出数据和对比数据之间的紧密度分析，通过误差值的反向传播，达到有效减少模型与实际数据的差距的目的，进而更好的优化模型。其中l具体为：