[发明专利]一种图像后期和谐化处理方法、系统及终端

说明书

本发明公开了一种图像后期和谐化处理方法、系统及终端，该方法包括：利用前景掩膜分割图指示待处理区域，得到前景掩膜区域图，在每一归一化层，将前景掩膜区域图缩放到与该归一化层的特征大小相同；区域自适应实例归一化层根据缩放后的前景掩膜区域图，从输入图像特征图的背景区域提取出统计特征，并将统计特征通过反调制应用到前景区域的特征上，使得前景与背景在特征部分具有相似的统计特征；将区域自适应实例归一化层应用到图像和谐化映射网络中，将输入图像的前景图像输入到图像和谐化映射网络中，输出已将前景图像调整后的图像。通过本发明，保证了前景与背景之间具有更加连续的视觉风格，可应用到现有的图像处理软件，且取得较好的改善。

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像后期和谐化处理方法、系统及终端。

背景技术

贴图也叫图像组合，是图像编辑、数据增强中的常用操作，前景背景图片组合可以用如下数学公式表示：

其中，I_f为前景图像，M为前景图像的掩码，I_b为背景图像的掩码，I_c为贴图图像，°为哈达玛乘积。通常情况下，将一个前景目标I_f粘贴到背景上，肉眼可以看到一些不和谐的现象，比如在颜色、光照、边缘等等。

在这中图像编辑任务中，要想生成真实的贴图图像，通常需要专业设计人员在图像编辑工具(如Photoshop)的辅助下，仔细观察图像之间的差异，调整被贴上去的前景的颜色、照明特征，从而使得前景与背景融合更加贴切。这一创造性过程需要人具有一定的技能，并且处理单张图片需要的时间较多。为了减轻人工负担，旨在自动化调整前背景以融合图像的图像和谐化任务被提出。

在实际应用中，当新的前景目标图像被粘贴到新的背景图像时，前景-背景的视觉特征变得不兼容而且不和谐，因此用户可以轻易的判断其真实性。

前期有大量的图像和谐化方法旨在提高贴图图像的真实感。传统方法通过将人工设计的统计知识从已有的图像迁移至被调整的前景图像，包括颜色特征、纹理特征、或者采用泊松融合的方法。尽管取得了一定的效果，但是这些方法都只能在简单的样例上有效，这些样例通常前背景在一定程度上已经较为和谐。近年来，越来越多的深度学习方法被提出，用来实现端到端的图像和谐化。上述的算法都是从全局的角度，学习一个神经映射网络，没有真正从视觉风格一致性的角度来考虑真实性。并且这些方法通常没有联合考虑前景图像与背景图像之间的关系，要么分别在前景和背景上卷积。要么是引入其他的模块扩大网络容量，但是很难很好地将前景的视觉风格与背景变得兼容。

因此，为了使得一张贴图图像看起来更加真实，必须保证前景与背景之间具有更加连续的视觉风格，急需提供一种新的图像后期和谐化处理技术。

发明内容

本发明针对上述现有技术中存在的问题，提出一种图像后期和谐化处理方法、系统及终端，可以保证前景与背景之间具有更加连续的视觉风格，可以应用到现有的图像处理软件或者和谐化算法上，并能取得较好的性能改善。

为解决上述技术问题，本发明是通过如下技术方案实现的：

本发明提供一种图像后期和谐化处理方法，其包括：

S11：利用前景掩膜分割图指示待处理区域，得到前景掩膜区域图，在每一归一化层，将所述前景掩膜区域图缩放到与该归一化层的特征大小相同；

S12：区域自适应实例归一化层根据缩放后的前景掩膜区域图，从输入图像特征图的背景区域提取出统计特征，并将所述统计特征通过反调制应用到前景区域的特征上，从而实现背景特征对前景特征的反调制，使得前景与背景在特征部分具有相似的统计特征；