[发明专利]一种基于前景参考图像的合成图像和谐化方法及系统

说明书

本发明涉及一种基于前景参考图像的合成图像和谐化方法及系统，该方法包括：利用原始合成图像的前景掩膜及目标检测预训练模型对原始合成图像进行处理，得到前景图像的参考图像，并对真实标签图像、原始合成图像和参考图像进行图像预处理，得到训练集；构建基于前景参考图像的双分支合成图像和谐化网络，该网络由三个部分组成，分别为背景特征提取融合模块、前景参考图像特征提取融合模块和双分支特征融合微调模块；构建合成图像和谐化网络的目标损失函数；使用训练集图像训练所述合成图像和谐化网络；将新的合成图像进行前景参考图像提取，然后输入训练好的合成图像和谐化模型，输出经过和谐化的图像。该方法及系统有利于提高合成图像和谐化质量。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于前景参考图像的合成图像和谐化方法及系统。

背景技术

图像合成是计算机图形学中的一个基本操作。将一张图像中的一部分截取出来，截取出来的部分称之为图像前景，截取的过程称之为抠图，再将截取出来的图像前景插入到另一张图像中的过程，称之为图像合成。这项技术在生活中被广泛的应用，例如，增强现实技术、艺术创作、电子商务的广告、平面设计和电影海报、人像照片背景变换、多人在线合影；同时，为了避免图像合成被用于假新闻制造和网络谣言，合成图像的检测技术也尤为重要。然而，经过合成后的图像往往十分不和谐，而且人类见过大量真实世界的样本，因此可以非常迅速地辨认出所给的一张合成图像是否“真实”。为了使合成后的图像在视觉效果上看起来更加“真实”，需要进行两个操作：首先，通过计算遮罩来提取前景对象，其次，相对于新的背景图调整前景的外观。第一个问题在早年已经受到相当大的关注。对于第二个问题，通过专业的调整人员对图像进行亮度、对比度、色调和饱和度的调整后，大部分的合成图像可以在视觉上呈现出相对和谐的效果。对于普通用户来说，调整合成图像以使其看起来和谐是一件具有挑战性的工作，对于专业人员而言，调整合成图像需要耗费不少的时间和精力。因此，实现合成图像和谐化的自动操作就尤为重要。

近年来，深度学习方法已经被广泛应用于图像处理和计算机视觉领域。Zhu等人首先将深度学习应用在合成图像和谐化任务上，他们训练了一个卷积神经网络来预测图像在颜色、光照和纹理上的视觉真实感，以此区分合成图像和真实图像，并将预测的真实感分数合并到颜色优化函数中，用于调整前景的外观。深度学习需要大量成对的合成图像和真实图像数据集进行训练，但是图像和谐化任务需要专业人员来对合成图像进行处理，才能产生高质量的和谐图像来作为对照的真实图像，这对于数据的大规模采集是不可行的。Tsai等人将语义分割数据集中的真实图像的前景提取，通过色彩调整方法改变前景的风格，再将其拼接回原图像，从而生成一张合成图像，而原图像则作为真实图像，通过这种方法，Tasi等人生成了大量的成对数据集；同时，Tasi等人设计了一种端到端的深度卷积神经网络，利用语义分割数据集带有的遮罩信息来引导合成图像的和谐过程。Cong等人根据Tasi等人的方法，制作并公开了第一个合成图像和谐化的大型开源数据集；同时，他们引入了域的概念，将合成图像和谐化任务视作域迁移任务，设计了域验证鉴别器用于转移前景的域以贴合背景的域，使得图像产生和谐的效果。Guo等人认为前景和背景的不和谐源于它们的固有反射率和照明的差异，并以此基础提出了一种自动编码器，对合成图像的反射和光照进行单独的协调，其中，对于前景的反射，使用反射一致性损失保持其不受背景影响的同时进行调整，对于前景的光照，使用光照一致性损失学习前景光照到背景光照的改变。Ling等人将合成图像和谐化的任务定义为从背景到前景的风格迁移问题，并提出了一种区域感知的自适应实例归一化模块，以从背景中显式地表达视觉风格，再将它们自适应地应用到前景上。

目前的大部分合成图像和谐化深度学习模型只是简单的利用深度学习强大的特征提取能力，对合成图像的背景特征进行提取后融合进前景中。进一步的，有些研究将背景中的特征信息划分为光照和反射信息分别进行提取。事实上，合成图像的背景区域相对前景来说更加复杂，包含有近景、中景和远景的信息，同时又存在高光区域和低光区域，背景通常也有不同的物体组成，包括人物、车辆、植物和街道等等。相较于背景，前景物体单一，整体风格更为一致。因此，简单的从背景提取信息，将会导致前景融合进不重要的特征，而重要的特征可能会被忽略。

发明内容