[发明专利]图像到图像转换中语义关系保留的知识提炼

权利要求书

1.一种用于将图像从第一域空间转换到第二域空间的计算设备，所述计算设备包括：

存储单元，存储基于生成对抗网络(GAN)的学生生成器(G_S)，其被配置为将图像从所述第一域空间转换到所述第二域空间，所述生成器G_S相对于也被配置为将图像从所述第一域空间转换到所述第二域空间的基于GAN的教师生成器(G_T)向下缩放，其中，所述生成器G_s包括维护为所述生成器G_T确定的语义关系知识的配置；以及

处理单元，被配置为：接收所述图像；将所述图像提供给所述生成器G_s以获得转换图像；并提供所述转换图像以供呈现。

2.根据权利要求1所述的计算设备，其中，使用与所述生成器G_T相关的语义关系知识提炼损失来调节所述生成器G_S配置，以将为所述生成器G_T确定的所述语义关系知识传递给所述生成器G_S。

3.根据权利要求1或2所述的计算设备，其中，所述生成器G_S和所述生成器G_T根据公共网络架构来定义。

4.根据权利要求3所述的计算设备，其中，所述生成器G_S相对于所述生成器G_T在宽度、深度或宽度和深度两者方面被向下缩放，其中，宽度表示每一层中的滤波器的数量，并且深度表示所述公共网络架构中的剩余块的数量。

5.根据权利要求1至4中任一项所述的计算设备，其中，所述处理单元被配置为在增强现实界面中提供所述转换图像以模拟应用于所述图像的效果。

6.根据权利要求5所述的计算设备，其中，所述效果是应用于包括对象的可应用部分的所述图像的化妆效果、头发效果、指甲效果和年龄模拟效果中的任何一种。

7.根据权利要求1至6中任一项所述的计算设备，包括移动设备。

8.根据权利要求1至7中任一项所述的计算设备，其中，所述语义关系知识从所述生成器G_T的中间层传递到所述生成器G_S的中间层。

9.根据权利要求8所述的计算设备，在权利要求8引用权利要求2的情况下，其中，所述生成器G_S配置被调节成使得：

a.在调节期间，在相应中间层处的所述生成器G_S和所述生成器G_T中的每一个中，语义关系由相似性矩阵表示，所述相似性矩阵通过计算由所述生成器G_S和所述生成器G_T执行的相应特征编码的像素上的成对激活相似性来定义；以及

b.所述知识经由在所述相似性矩阵上的所述语义关系知识提炼损失来传递。

10.根据权利要求9所述的计算设备，其中，通过在所述生成器G_S和所述生成器G_T的最终生成的图像上除传统提炼损失之外还添加所述语义关系知识提炼损失来调节所述生成器G_S配置。

11.根据权利要求9或权利要求10所述的计算设备，其中，计算相应的语义关系激活矩阵作为所述相应特征编码的外积，并且所述语义关系知识提炼损失比较所述生成器G_S和所述生成器G_T的相应语义关系激活矩阵。