[发明专利]用于处理图像交互的方法和装置

说明书

提供了一种用于处理图像交互的方法和装置。该装置使用编码器从输入图像中提取输入特征，基于用于应用于输入图像的交互将输入特征转换为第二特征，以及使用解码器根据第二特征生成结果图像。

相关申请的交叉引用

本申请要求2017年12月20日在韩国知识产权局递交的韩国专利申请No.10-2017-0175942的权益，其全部公开内容通过引用合并于此以用于所有目的。

技术领域

以下描述涉及处理图像交互。

背景技术

已经提出了将交互应用于图像的图像处理技术。为了实现增强现实(AR)，处理图像交互以将虚拟世界与真实世界相结合。已经提出了将与用户的交互应用于图像中的对象以增强体验感并实现更加真实的AR的技术。

为处理图像交互，从二维(2D)图像中提取三维(3D)信息并重建3D图像。为应用交互，广泛使用了在对3D图像进行渲染之后生成2D图像的技术。而且，正在积极地开展对基于神经网络的交互处理技术的研究。然而，因为此类操作或应用是通过非常专门的计算架构来执行的，并且采用了与它们以非计算机实现或非自动化方式实现的不同的自动化方式，因此，它们也导致了仅由于其实现所使用的自动化的且专门的计算架构方式而出现的问题或缺点。例如，由于需要大量信息，因此在使用3D信息的技术中发生大量错误，并由此降低了可用性。而且，由于对设置的交互的处理的限制，因此降低了与基于神经网络的交互处理相关的研究的可扩展性。因此，需要一种保证图像交互处理的良好性能且具有相对高的可扩展性的图像交互处理技术。

发明内容

提供了本发明内容以介绍下面在具体实施方式中进一步描述的对简化形式的理念的选择。本发明内容不意在标识所请求保护的主题的关键特征或基本特征，也不意在用作帮助确定所请求保护的主题的范围。

在一个总的方面，提供了一种处理图像交互的方法，该方法包括：使用编码器从输入图像中提取输入特征，基于用于应用于输入图像的交互将输入特征转换为第二特征，以及使用解码器根据第二特征生成结果图像。

转换输入特征可以包括：将与交互相对应的特征图与输入特征相组合，以及使用转换网络，将与特征图组合的输入特征转换为可适合于解码器的输入的第二特征。

特征图可以包括与交互相对应的值。

该方法可以包括：从用户输入中识别用于应用于输入图像的交互，其中，转换输入特征可以包括，使用与所识别的交互相对应的值来生成用于与输入特征组合的特征图。

转换输入特征可以包括：将输入特征与对应于第一交互的第一特征图和对应于第二交互的第二特征图相组合，以及将与第一特征图和第二特征图组合的输入特征转换为可适合于解码器的输入的第二特征。

转换输入特征可以包括：从针对每个交互定义的转换网络中选择与交互相对应的转换网络，以及使用所选择的转换网络，将输入特征转换为第二特征。

该方法可以包括：从用户输入中识别用于应用于输入图像的交互，其中，转换输入特征还可包括：从转换网络中识别与所识别的交互相对应的转换网络。

输入图像和结果图像可以是单通道二维(2D)图像，输入特征可以包括空间大小比输入图像的空间大小小的特征图，以及第二特征可以包括空间大小比结果图像的空间大小小的特征图。

输入图像的空间大小可以等于结果图像的空间大小。

编码器可以包括被配置为根据单通道2D图像生成多通道特征的卷积神经网络(CNN)，并且解码器可以包括被配置为根据多通道特征生成单通道2D图像的CNN。

交互可以包括对输入图像中的对象的旋转、移动和变换中的任何一种或任何组合。