[发明专利]用于处理图像交互的方法和装置

权利要求书

1.一种处理图像交互的方法，所述方法包括：

使用编码器从输入图像中提取输入特征；

基于用于应用于所述输入图像的交互，将所述输入特征转换为第二特征；以及

使用解码器，根据所述第二特征生成结果图像。

2.根据权利要求1所述的方法，其中，转换所述输入特征包括：

将与所述交互相对应的特征图与所述输入特征相组合；以及

使用转换网络，将与所述特征图组合的输入特征转换为适合于所述解码器的输入的第二特征。

3.根据权利要求2所述的方法，其中，所述特征图包括与所述交互相对应的值。

4.根据权利要求2所述的方法，还包括：

从用户输入中识别用于应用于所述输入图像的交互，

其中，转换所述输入特征包括：使用与所识别的交互相对应的值来生成用于与所述输入特征组合的特征图。

5.根据权利要求1所述的方法，其中，转换所述输入特征包括：

将所述输入特征与对应于第一交互的第一特征图和对应于第二交互的第二特征图相组合；以及

将与所述第一特征图和所述第二特征图组合的输入特征转换为适合于所述解码器的输入的第二特征。

6.根据权利要求1所述的方法，其中，转换所述输入特征包括：

从针对每个交互定义的转换网络中选择与所述交互相对应的转换网络；以及

使用所选择的转换网络，将所述输入特征转换为所述第二特征。

7.根据权利要求6所述的方法，还包括：

从用户输入中识别用于应用于所述输入图像的交互，

其中，转换所述输入特征还包括：从所述转换网络识别与所识别的交互相对应的转换网络。

8.根据权利要求1所述的方法，其中，

所述输入图像和所述结果图像是单通道二维2D图像，

所述输入特征包括空间大小比所述输入图像的空间大小小的特征图，以及

所述第二特征包括空间大小比所述结果图像的空间大小小的特征图。

9.根据权利要求1所述的方法，其中，所述输入图像的空间大小等于所述结果图像的空间大小。

10.根据权利要求1所述的方法，其中，

所述编码器包括：被配置为根据单通道2D图像生成多通道特征的卷积神经网络CNN，以及

所述解码器包括：被配置为根据多通道特征生成单通道2D图像的CNN。

11.根据权利要求1所述的方法，其中，所述交互包括对所述输入图像中的对象的旋转、移动和变换中的任何一种或任何组合。

12.一种存储指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时，使得所述处理器执行权利要求1所述的方法。

13.一种用于处理图像交互的训练方法，所述训练方法包括：

使用编码器从训练输入图像中提取训练输入特征；

基于用于应用于所述训练输入图像的交互，使用转换网络将所述训练输入特征转换为第二特征；

使用解码器，根据所述第二特征生成训练结果图像；以及

对所述转换网络进行训练，使得所述训练结果图像与通过将所述交互应用于所述训练输入图像而生成的图像大致相同。

14.根据权利要求13所述的训练方法，其中，转换所述训练输入特征包括：

将与所述交互相对应的特征图与所述训练输入特征相组合；以及

使用所述转换网络，将与所述特征图组合的训练输入特征转换为适合于所述解码器的输入的第二特征。