[发明专利]一种基于深度本征分解的图像编辑方法及系统

说明书

本发明提出一种基于深度本征分解的图像编辑方法及系统，包括本征分解模块、本征编辑模块和重建模块，网络拟合效果更好，提高了本征分解的质量，在视觉上也更接近真实照片。将待编辑图像进行预处理，作为输入图像，构建本征图像分解模型，接收输入图像之后，首先利用输入卷积层进行卷积扩充，进而利用编码器网络对卷积扩充的结果进行编码，然后利用解码器网络通过卷积和反卷积将编码后的图像的特征逐步上采样，恢复到输入图像的大小，最后采用输出卷积层输出一个阴影图和一个反射率图。对本征图像分解模型输出的阴影图和反射率图分别进行自定义编辑，并将自定义编辑后的阴影图和反射率图进行重建并输出，得到针对待编辑图像的自定义编辑结果。

技术领域

本发明属于本征图像分解和图像编辑领域，涉及一种基于深度本征分解的图像编辑方法及系统。

背景技术

本征图像分解是计算机图形学和计算机视觉的固有问题，它在物理层面将图像分解，对场景理解等计算机视觉任务上有着很大帮助，同样在图像的重纹理，重光照等方面都有重要应用。本征图像分解首次在1978年提出，该技术基于常见的朗伯假设，将图像形成表示为反射率图和阴影图的逐像素乘积，其中，反射率图代表了场景中材质表面的反射率，决定了颜色纹理等信息，阴影图代表了光线作用场景后的外观效果，表现为几何，影子和光照等效果。

如今，存在一种应用一个端到端的网络结构和合成的本征数据集的现有技术。该技术在合成数据集和真实数据集上依次对网络进行训练，将训练好的模型用于真实图像的本征分解。他们的网络结构是一个编码器到解码器的结构的卷积神经网络，对于两个不同本征图像反射率图和阴影图，共享一个网络权重，只在最后一层对二者进行分离。该技术制作的数据集包含了合成彩色图像和对应的反射率图像，具有较好的真实性；该技术中，训练好的网络可以良好的分解出真实图像的反射率图和阴影图。而该技术中的网络结构没有考虑反射率图像和阴影图像在物理层面和像素层面的异同，只包含了共享的编码器和解码器，因此网络结构限制了它的分解能力。该技术制作的数据集虽然具有很好的渲染效果，但是只包含了对应的一个本征图像真实标签，按照本征图像分解假设制作出的另一个本征图像真实标签具有网络无法拟合的动态范围和噪音，止步于本征图像分解，并没有进行图像编辑应用，只停留在算法阶段。

本征图像分解的方法通常都是基于像素之间的关系，结合一些先验知识，设置局部和全局的约束，通过定制专门的滤波器或者能量优化器获得反射率图和阴影图。近年来，卷积神经网络在许多场景理解任务上展示出卓越的性能，出现了许多用卷积神经网络对本征图像进行分解的方法。但真实本征图像无法获得，所以一般都采用合成数据进行训练，而合成数据集的质量决定了网络在真实图像上测试时的表现。

因此，目前亟需一种能够结合卷积神经网络和本征图像分解技术的优点的方法和系统，达到增强图像真实感、三维感的技术效果。

发明内容

有鉴于此，本发明提供一种基于深度本征分解的图像编辑方法及系统，将本征分解应用到各个场景的不同图像编辑任务中去，与传统的图像编辑相比，我们发明的图像编辑方法增加了真实感，让图像编辑具有三维化的效果。

为达到上述目的，本发明的技术方案为：

一种基于深度本征分解的图像编辑方法，具体步骤包括：

将待编辑图像进行预处理，作为输入图像。

基于卷积神经网络，构建本征图像分解模型，本征图像分解模型接收输入图像之后，首先利用输入卷积层进行卷积扩充，进而利用编码器网络对卷积扩充的结果进行编码，然后利用解码器网络通过卷积和反卷积将编码后的图像的特征逐步上采样，恢复到输入图像的大小，最后采用输出卷积层输出一个阴影图和一个反射率图。

对本征图像分解模型输出的阴影图和反射率图分别进行自定义编辑，并将自定义编辑后的阴影图和反射率图进行重建并输出，得到针对待编辑图像的自定义编辑结果。

进一步的，将待编辑图像进行预处理，具体方法为：