[发明专利]语义一致的图像样式转换

权利要求书

1.一种方法，包括：

从源域接收输入源域图像；

使用特定于来自所述源域的图像的一个或多个源域低层级编码器神经网络层来处理所述源域图像，以生成所述输入源域图像的低层级表示；

使用在来自所述源域和目标域的图像之间共享的一个或多个高层级编码器神经网络层来处理所述低层级表示，以生成所述输入源域图像的嵌入；

使用在来自所述源域和目标域的图像之间共享的一个或多个高层级解码器神经网络层来处理所述输入源域图像的所述嵌入，以生成所述输入源域图像的特征的高层级特征表示；以及

使用特定于从所述目标域生成图像的一个或多个目标域低层级解码器神经网络层来处理所述输入源域图像的特征的所述高层级特征表示，以生成来自所述目标域但具有与所述输入源域图像类似的语义的输出目标域图像。

2.根据权利要求1所述的方法，进一步包括：

从目标域接收输入目标域图像；

使用特定于来自所述目标域的图像的一个或多个目标域低层级编码器神经网络层来处理所述输入目标域图像，以生成所述输入目标域图像的低层级表示；

使用在来自所述源域和目标域的图像之间共享的所述一个或多个高层级编码器神经网络层来处理所述低层级表示，以生成所述输入目标域图像的嵌入；

使用在来自所述源域和目标域的图像之间共享的所述一个或多个高层级解码器神经网络层来处理所述输入目标域图像的所述嵌入，以生成所述输入目标域图像的特征的高层级特征表示；以及

使用特定于从所述源域生成图像的一个或多个源域低层级解码器神经网络层来处理所述目标源域图像的特征的所述高层级特征表示，以生成来自所述源域但是具有与所述输入目标域图像类似的语义的输出源域图像。

3.根据权利要求1或2中的任一项所述的方法，其中，所述源域低层级编码器神经网络层、所述高层级编码器神经网络层、所述高层级解码器神经网络层和所述目标域低层级解码器神经网络层已经与一个或多个目标域低层级编码器神经网络层和一个或多个源域低层级解码器神经网络层联合地被训练。

4.根据权利要求2或3中的任一项所述的方法，其中，所述源域低层级编码器神经网络层具有与所述目标域低层级编码器神经网络层相同的架构但是不同的参数值。

5.根据权利要求2至4中的任一项所述的方法，其中，所述源域低层级解码器神经网络层具有与所述目标域低层级解码器神经网络层相同的架构但是不同的参数值。

6.一种训练权利要求2至5中的任一项所述的源域低层级编码器神经网络层、高层级编码器神经网络层、高层级解码器神经网络层、目标域低层级解码器神经网络层、目标域低层级编码器神经网络层和源域低层级编码器神经网络层的方法，所述方法包括：

从所述源域接收训练输入源域图像；

使用所述源域低层级编码器神经网络层来处理所述训练输入源域图像，以生成所述训练输入源域图像的低层级表示；

使用所述高层级编码器神经网络层来处理所述低层级表示，以生成所述训练输入源域图像的嵌入；

使用所述一个或多个高层级解码器神经网络层来处理所述训练输入源域图像的所述嵌入，以生成所述训练输入源域图像的特征的高层级特征表示；以及

使用所述一个或多个目标域低层级解码器神经网络层来处理所述训练输入源域图像的特征的所述高层级特征表示，以生成来自所述目标域的训练输出目标域图像；

使用所述一个或多个目标域低层级编码器神经网络层来处理所述训练输出目标域图像，以生成所述训练输出目标域图像的低层级表示；

使用所述一个或多个高层级编码器神经网络层来处理所述低层级表示，以生成所述训练输出目标域图像的嵌入；

确定减小所述训练输出目标域图像的所述嵌入与所述训练输入源域图像的所述嵌入之间的距离测量的语义一致性损失函数的第一梯度；以及

使用所述第一梯度，更新所述源域低层级编码器神经网络层、所述高层级编码器神经网络层、所述高层级解码器神经网络层、所述目标域低层级解码器神经网络层和所述目标域低层级编码器神经网络层的参数的当前值。