[发明专利]经由语言请求的自动照片编辑

说明书

本公开的实施例涉及经由语言请求的自动照片编辑。本公开涉及用于基于用户请求自动处理图像的系统和方法。在一些示例中，将请求划分为修版命令(例如，全局编辑)和图像修补命令(例如，局部编辑)。生成修版掩膜和图像修补掩膜以指示将应用编辑的区域。将照片请求注意力和多模态调制过程应用于表示图像的特征，并且使用已修改的特征来生成合并用户请求的已修改的图像。

技术领域

以下总体上涉及图像处理，并且更具体地涉及使用机器学习的自动化图像处理。

背景技术

数字图像处理是指使用计算机以使用算法或处理网络来编辑数字图像。例如，可以对由新手摄影师拍摄的图像执行数字图像处理以增强图像的整体吸引力。在一些情况下，可以对图像进行处理以提高图像清晰度。例如，数字图像可能包括黑暗区域、不想要的色调或对象。

然而，即使使用高级图像编辑软件，编辑这些属性也可能是困难和耗时的。此外，常规图像编辑系统不能进行基于自然言语请求的图像编辑。因此，本领域需要改进的图像处理系统和方法以基于用户请求而自动编辑图像。

发明内容

本公开的实施例涉及用于基于用户请求来自动处理图像的系统和方法。在一些示例中，将请求划分为修版(retouching)命令(例如，全局编辑)和图像修补(inpainting)命令(例如，局部编辑)。生成修版掩膜和图像修补掩膜，以指示将应用编辑的区域。将照片请求注意力和多模态调制过程应用于表示图像的特征，并且使用已修改的特征来生成合并用户请求的已修改的图像。

描述了一种用于图像处理的方法、装置、非暂态计算机可读介质和系统。该方法、装置、非暂态计算机可读介质和系统的一个或多个方面包括：标识图像和针对图像的编辑命令；对编辑命令进行编码，以获取图像修补向量和修版向量；基于图像修补向量来生成图像修补掩膜，并且基于修版向量来生成修版掩膜；基于图像和图像修补掩膜来生成图像特征表示；基于图像特征表示、修版掩膜和使用修版向量所计算的注意力矩阵来生成已修改的图像特征表示；以及基于已修改的图像特征表示来生成已修改的图像，其中已修改的图像表示编辑命令对图像的应用。

描述了一种用于训练的、用于图像处理的神经网络的方法、装置、非暂态计算机可读介质和系统。该方法、装置、非暂态计算机可读介质和系统的一个或多个方面包括：接收训练数据，该训练数据包括训练图像、编辑命令和真实值图像，该真实值图像表示编辑命令对训练图像的应用；对编辑命令进行编码，以获取图像修补向量和修版向量；基于图像修补向量来生成图像修补掩膜，并且基于修版向量来生成修版掩膜；基于训练图像和图像修补掩膜来生成图像特征表示；基于图像特征表示、修版掩膜和使用修版向量所计算的注意力矩阵来生成已修改的图像特征表示；基于已修改的图像特征表示来生成已修改的图像，其中已修改的图像表示编辑命令对训练图像的应用；基于已修改的图像和真实值图像来计算损失函数；以及基于损失函数来训练神经网络。

描述了一种用于图像处理的装置、系统和方法。该装置、系统和方法的一个或多个方面包括：文本编码器，被配置为针对图像的编辑命令进行编码，以获取图像修补向量和修版向量；短语条件真实(PCG)网络，被配置为基于图像修补向量生成图像修补掩膜，并且基于修版向量来生成修版掩膜；图像编码器，被配置为基于图像和图像修补掩膜来生成图像特征表示；多模态调制网络，被配置为基于图像特征表示、修版掩膜和使用修版向量所计算的注意力矩阵来生成已修改的图像特征表示；以及解码器，被配置为基于已修改的图像特征表示来生成已修改的图像，其中已修改的图像表示编辑命令对图像的应用。

附图说明

图1示出了根据本公开的方面的图像编辑系统的示例；

图2示出了根据本公开的方面的图像编辑过程的示例；

图3示出了根据本公开的方面的自动图像编辑的示例；

图4示出了根据本公开的方面的用于自动图像编辑的注意力图的示例；

图5示出了根据本公开的方面的图像编辑装置的示例；