[发明专利]用于高质量图像处理的机器学习

说明书

能够通过使用机器学习和真实值数据训练来帮助用于修复的系统或方法。通过使用真实值图像数据来训练机器学习修复模型可以增加图像修复领域的效率和精度。此外，机器学习修复模型能够帮助各种数据类型的非确定性预测，并且能够适用于各种数据类型的移除和/或替换。由于通过训练调整的校准参数，使得经训练的模型能够在没有真实值保证的情况下进行预测。

技术领域

本公开总体上涉及处理图像数据。更具体地，本公开涉及一种用于能够借助于真实值数据来训练的高质量图像修复的机器学习的模型。

背景技术

图像(例如，照片)和其他形式的数据通常包括不想要的数据。作为一个示例，不想要的数据可以与由处理图像以减少图像中的噪声而产生的伪像相对应。作为另一示例，不想要的数据可以与风景前景中的人类或家庭照片背景中的未知人相对应。作为另一示例，不想要的数据可以与另外情况下的原始背景中的难看对象相对应。

因此，不想要的数据能够与遮挡或模糊图像的其他部分——诸如所描绘的场景——的对象相对应。然而，利用替换数据(例如，描绘被不想要的数据遮挡的图像的被遮挡部分的替换图像数据，也被称为“修复”的过程)替换不想要的数据是本质上非确定性的具有挑战性的问题。换句话说，可以从相同图像确定多个可能的解决方案，从而导致困难的问题。

发明内容

本公开的实施例的方面和优点将在以下描述中部分地阐述，或者能够从描述中学习，或者能够通过实施例的实践来学习。

本公开提供了用于基于数据特性和真实值训练技术利用替换数据替换不想要的数据的系统和方法。根据本公开的计算系统能够被配置为接收给定的增强数据集合、掩码和真实值数据集合；对所述增强数据和掩码进行编码；对所述真实值数据进行编码；对从两个编码接收的数据都进行编译；对所述编码进行解码；将输出与真实值数据进行比较；以及修改系统参数。通过使用真实值编码，可以进一步帮助计算系统替换数据。以该方式，本公开的实施方式可以用于创建替换数据来代替不想要的数据。

本公开的一个示例方面针对训练机器学习图像修复模型的计算机实现的方法。所述方法能够包括条件变分自编码器。所述方法能够包括获得训练样本，所述训练样本包括：真实值图像数据、从将不想要的图像数据添加到所述真实值图像数据导出的增强图像数据，以及可以指示所述不想要的图像数据在所述增强图像数据内的一个或多个位置的掩码。所述方法能够进一步包括利用所述条件变分自编码器的第一编码器模型来处理所述增强数据和掩码，以生成用于所述图像数据的嵌入，并且能够包括利用第二编码器模型处理所述真实值图像数据和所述掩码以生成一个或多个分布值。此外，所述方法能够包括利用所述条件变分自编码器的解码器模型来处理所述嵌入和所述一个或多个分布值，以生成预测图像数据，所述预测图像数据可以包括由所述掩码指示的所述一个或多个位置处的替换图像数据，其中，所述替换图像数据可以替换所述不想要的图像数据。附加地，所述方法能够包括基于所述预测图像数据与所述真实值图像数据的比较来评估一个或多个损失函数，然后至少部分地基于所述一个或多个损失函数修改所述条件变分自编码器的一个或多个参数值。

本公开的另一示例方面针对计算系统，所述计算系统包括至少一个处理器、机器学习的图像修复模型以及存储指令的至少一个有形的、非暂时性计算机可读介质，所述指令在由所述至少一个处理器执行时可以使所述至少一个处理器执行操作。所述系统能够包括：编码器，其中，所述编码器能够被配置为对图像数据进行编码；以及解码器，其中，所述解码器能够被配置为对图像数据进行解码。所述机器学习的图像修复模型能够被训练以将图像数据和掩码输入到所述编码器中，其中，所述图像数据能够包括不想要的图像数据，并且其中，所述掩码能够指示所述不想要的图像数据的位置和大小；此外，所述机器学习的图像修复模型能够被训练为从所述编码器接收嵌入，其中，所述嵌入能够包括所述经编码的图像数据。所述机器学习的图像修复模型能够被训练为将所述嵌入和条件向量输入到所述解码器中。所述机器学习的图像修复模型能够进一步被训练为接收预测图像数据作为所述解码器的输出，其中，所述预测图像数据能够至少部分地基于所述图像数据和所述条件向量，利用预测替换数据替换所述不想要的图像数据。