[发明专利]边界感知对象移除和内容填充

说明书

本公开的实施例涉及边界感知对象移除和内容填充。公开了用于从图像中移除对象的系统和方法。图像处理应用标识图像中的对象集中的每个对象的边界。在一些情况下，标识使用深度学习。图像处理应用通过将对象提供给经训练的模型来标识针对该对象集中的每个对象的完整边界。图像处理应用确定掩模集。每个掩模对应于该对象集中的对象，并且表示由对象的边界和目标对象的边界的相交部分限定的图像区域，该目标对象要从图像中被移除。图像处理应用通过对对应的区域分别执行内容填充来更新每个掩模。图像处理应用通过将每个经更新的掩模与图像的部分合并来创建输出图像。

技术领域

本公开总体上涉及从数字图像中移除对象。更具体地，但不作为限制，本公开涉及通过使用对象边界检测结合内容感知填充来从图像中移除对象。

背景技术

在编辑诸如照片等图像期间，图形设计者可能希望移除目标对象。例如，设计者可能想要移除出现在花园照片中间的玩具，或者从房屋照片中移除庭院标志。

然而，现有的对象移除软件工具具有缺陷。例如，一些解决方案只能移除出现在简单背景前面的对象，因为这样的解决方案只是移除不想要的区域，并且使用来自图像的其他部分的样本自动填充所得到的孔。

其他解决方案通过以下方式来改进该方法：更彻底地分析孔周围的区域，以确定对于缺失内容的适当填充。但是这样的解决方案未能确定被目标对象遮挡的对象的边界，从而导致不准确的内容填充。例如，由于不能分析叶子的边界并且重新创建边界的缺失部分，这样的解决方案不能准确地重新创建被球遮挡的叶子。因此，这样的解决方案将以叶子看起来不真实的方式填充叶子的缺失部分。

因此，需要可靠且准确地移除和填充对象的解决方案。

发明内容

公开了用于从图像中移除对象的系统和方法。示例性方法访问包括对象集的图像。该方法通过将对象提供给经训练的模型来标识针对该对象集中的每个对象的完整边界。该方法接收对目标对象的选择，该目标对象要从对象中被移除。该方法还确定掩模集。每个掩模对应于该对象集中的对象，并且表示由对象的边界和目标对象的边界的相交部分限定的图像区域。该方法通过对对应的区域分别执行内容填充来更新每个掩模。该方法通过将每个经更新的掩模与图像的部分合并来创建输出图像。

提及这些说明性实施例不是为了限制或限定本公开，而是提供示例以帮助理解本公开。在具体实施方式中讨论了另外的实施例，并且在那里提供了进一步的描述。

附图说明

当参考附图阅读以下的具体实施方式时，可以更好地理解本公开的特征、实施例和优点。

图1是描绘根据本公开的实施例的用于从图像中移除对象的应用组件的示例的图；

图2描绘了根据本公开的实施例的用于从图像中移除对象的系统实现的示例；

图3描绘了根据本公开的实施例的用于从图像中移除对象的过程的示例；

图4描绘了根据本公开的实施例的对象移除环境的中间结果和最终结果的示例；

图5描绘了根据本公开的实施例的用于训练条件生成对抗网络以检测对象的边界的过程的示例；

图6描绘了根据本公开的实施例的在图5中使用的训练数据的示例；以及

图7描绘了根据本公开的实施例的用于从图像中移除对象的计算系统的示例。

具体实施方式

如上文所讨论的，用于移除对象的现有解决方案存在缺陷，其包括对被移除的对象的不真实的内容填充。相反，本文中描述的实施例通过以下方式来有利于更准确的对象移除：使用深度学习来检测输入图像中存在的对象的边界，找到那些对象之间的相交部分，以及将内容填充应用于每个相交部分。因此，所公开的解决方案创建了更美观的结果，因为重新创建了底层对象的边界并且适当地填充了被移除的对象。