[发明专利]图像融合方法、装置及存储介质

说明书

本发明涉及图像处理领域，具体提供一种图像融合方法、装置及存储介质，旨在解决现有图像融合方法得到的文本效果较差的技术问题。为此目的，本发明的图像融合方法包括下述步骤：获取第一风格图像和待迁移文本图像，第一风格图像包括第一文本内容，待迁移文本图像包括第二文本内容，第一风格图像和待迁移文本图像的风格样式不同；基于文本擦除模型对第一风格图像的第一文本内容进行擦除，得到背景图像；基于背景图像和第一风格图像获取第二风格图像；利用文本风格迁移融合模型对第二风格图像、待迁移文本图像以及背景图像进行融合，得到当前融合图像。

技术领域

本发明涉及图像处理领域，具体提供一种图像融合方法、装置及存储介质。

背景技术

目前，传统的图像融合方法主要是将文本区域二值化后利用opencv中的inpaint方法将切片中的文本内容擦除掉，然后利用预置模型对原文本的字体、组成模式、颜色字高等分析，生成相应的字段内容后贴在擦除好的切片背景中，再复原到原图像中生成新的数据用于训练。但是，inpaint对于纯色背景的图像擦除效果很好，如果是有纹理结构的背景擦除之后背景会完全消失，在训练检测模型时会有明显的边界特征，这样训练出来的模型鲁棒性比较差。另外，根据预置模型得出的字段内容相关信息来合成的字段效果较差，尤其是字高和颜色与背景本身反差过大，一定程度上会影响合成效果。

相应地，本领域需要一种新的图像融合方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决现有图像融合方法得到的文本效果较差的技术问题。本发明提供了一种图像融合方法、装置及存储介质。

在第一方面，本发明提供一种图像融合方法，包括下述步骤：获取第一风格图像和待迁移文本图像，所述第一风格图像包括第一文本内容，所述待迁移文本图像包括第二文本内容，所述第一风格图像和待迁移文本图像的风格样式不同；基于文本擦除模型对所述第一风格图像的第一文本内容进行擦除，得到背景图像；基于所述背景图像和第一风格图像获取第二风格图像；利用文本风格迁移融合模型对所述第二风格图像、待迁移文本图像以及背景图像进行融合，得到当前融合图像。

在一个实施方式中，基于所述背景图像和第一风格图像获取第二风格图像包括：对所述背景图像和第一风格图像进行差分计算，得到所述第二风格图像。

在一个实施方式中，利用文本风格迁移融合模型对所述第二风格图像、待迁移文本图像以及背景图像进行融合，得到当前融合图像包括：利用文本风格迁移融合模型，将所述待迁移文本图像的第二文本内容以所述第二风格图像的风格样式迁移至所述第二风格图像中，得到迁移文本图像；将所述迁移文本图像与所述背景图像进行融合，得到当前融合图像。

在一个实施方式中，利用文本风格迁移融合模型，将所述待迁移文本图像的第二文本内容以所述第二风格图像的风格样式迁移至所述第二风格图像中，得到迁移文本图像包括：利用文本风格迁移融合模型，将所述待迁移文本图像的第二文本内容以所述第二风格图像的风格样式迁移至第二风格图像中的目标位置，得到所述迁移文本图像，所述目标位置为第二风格图像中的预设位置。

在一个实施方式中，所述文本擦除模型包含生成式对抗网络，所述文本风格迁移融合模型包含Resnet网络。

在一个实施方式中，还包括：利用特征提取网络提取所述当前融合图像的文本内容及边界特征；对所述当前融合图像和提取的所述文本内容及边界特征进行拼接，得到拼接图像；对所述拼接图像进行卷积处理，得到最终融合图像。

在一个实施方式中，所述特征提取网络包含编码器和解码器，所述编码器包含至少一个卷积层，所述解码器包含至少一个反卷积层。