[发明专利]图像处理方法、装置及设备

说明书

本发明提供了一种图像处理方法、装置及设备，该方法包括：获取第一输入图像和第二输入图像；提取所述第一输入图像的内容特征；提取所述第二输入图像的属性特征；对提取出的所述第一输入图像的内容特征和所述第二输入图像的属性特征进行特征映射，以得到目标图像特征；以及基于所述目标图像特征生成输出图像。本发明引入特征转换网络，并对整个图像处理系统进行分阶段训练，使得图像处理系统训练高效快捷、适用性广、在保持内容信息的同时生成与期望属性更相似的输出图像。

技术领域

本发明涉及图像处理技术，更具体地，涉及一种图像处理方法、装置及设备。

背景技术

人脸图像合成在现实世界中有许多应用，例如人脸的超分辨率、正面化、人脸图像编辑等等，其广泛应用于图像视频的处理与生成等领域，具有非常重要的工业价值。随着深度学习技术的发展以及深度生成网络的出现，现有技术利用深度生成模型，例如生成对抗网络(Generative Adversarial Network，GAN)和变分自编码器(Variational Auto-encoder，VAE)等等，在实现高真实度的人脸合成方面取得了巨大进展。现实应用场景中，在保持身份不变的条件下合成特定场景的人脸图像是具有较高挑战性的一个课题。然而，目前的人脸图像合成方法仅通过对身份人脸图像的身份特征和属性人脸图像的属性特征进行简单的组合拼接，在生成的人脸图像中无法充分地表达身份人脸图像的身份信息和属性人脸图像的属性信息，并且在训练过程中，所有网络参数都一同受到身份和属性的共同约束，在图像的编解码过程中可能会造成不真实的合成瑕疵。所以，需要一种训练高效快捷、适用性广、在保持人脸身份信息的同时生成与期望属性更相似的人脸图像的图像合成方法。

发明内容

本发明的实施例提供了一种图像处理方法，包括：获取第一输入图像和第二输入图像；提取所述第一输入图像的内容特征；提取所述第二输入图像的属性特征；对提取出的所述第一输入图像的内容特征和所述第二输入图像的属性特征进行特征映射，以得到目标图像特征；以及基于所述目标图像特征生成输出图像。

根据本发明的实施例，其中，利用特征转换网络来对提取出的所述第一输入图像的内容特征和所述第二输入图像的属性特征进行特征映射，以得到所述目标图像特征，其中，所述目标图像特征具有所述第一输入图像的内容特征和所述第二输入图像的属性特征。

根据本发明的实施例，其中，利用内容编码器网络来提取所述第一输入图像的内容特征；利用属性编码器网络来提取所述第二输入图像的属性特征；以及利用解码器网络来基于所述目标图像特征生成输出图像。

根据本发明的实施例，其中，所述内容编码器网络和所述属性编码器网络为卷积神经网络，所述解码器网络为反卷积神经网络，并且所述特征转换网络为多个全连接层构成的多层感知器。

根据本发明的实施例，其中，基于图像重建损失函数来对待训练的内容编码器网络、待训练的属性编码器网络、待训练的特征转换网络和待训练的解码器网络进行预训练；以及基于联合损失函数来对所述待训练的特征转换网络进行联合训练。

根据本发明的实施例，其中，所述联合损失函数包括图像重建损失函数、内容损失函数以及生成对抗损失函数中的至少两项。

根据本发明的实施例，其中，所述图像重建损失函数为所述待训练的属性编码器网络的训练输入图像与所述待训练的解码器网络的训练输出图像之间的L2距离或L1距离。

根据本发明的实施例，其中，所述内容损失函数为所述待训练的内容编码器网络的训练输入图像的内容特征和所述待训练的解码器网络的训练输出图像的内容特征之间的L2距离或L1距离或余弦相似度。

根据本发明的实施例，其中，利用内容识别网络来提取所述待训练的内容编码器网络的训练输入图像的内容特征和所述待训练的解码器网络的训练输出图像的内容特征。