[发明专利]边界感知对象移除和内容填充

权利要求书

1.一种从图像中移除对象的方法，所述方法包括：

访问包括多个对象的图像；

通过将每个对象提供给经训练的模型，来标识针对所述多个对象中的每个对象的完整边界；

接收对来自所述多个对象的目标对象的选择，所述目标对象要从所述图像中被移除；

确定掩模集，其中每个掩模对应于所述多个对象中的对象，并且表示由所述对象的所述边界与所述目标对象的所述边界的相交部分限定的、所述图像的区域；

通过对对应的所述区域分别执行内容填充，来更新每个掩模；以及

通过将经更新的所述掩模中的每个掩模与所述图像的部分合并，来创建输出图像。

2.根据权利要求1所述的方法，其中所述图像的部分是所述图像的没有由所述掩模中的任何掩模表示的区域。

3.根据权利要求1所述的方法，其中所述经训练的模型是条件对抗网络。

4.根据权利要求1所述的方法，其中访问所述图像还包括：在所述图像中检测所述多个对象。

5.根据权利要求1所述的方法，其中所述填充包括：基于对应的所述对象，将内容感知填充分别应用于每个掩模。

6.根据权利要求1所述的方法，其中创建所述输出图像包括：从所述掩模中创建层集，并且将所述层集中的每个层合并成所述输出图像。

7.根据权利要求1所述的方法，其中填充所述掩模中的每个掩模还包括：

将每个掩模分成多个段；

对每个段执行内容感知填充；以及

将每个段组合成所述掩模。

8.根据权利要求1所述的方法，其中填充所述掩模中的每个掩模包括：

生成候选补丁，所述候选补丁包括来自由所述掩模表示的所述对象的像素；

验证所述候选补丁；以及

使用经验证的所述候选补丁，来自动重建所述掩模的像素。

9.一种用于训练条件生成对抗网络以预测对象的边界的计算机实现的方法，所述方法包括：

确定针对图像内的对象的参考边界；

通过以下方式从所述图像中创建训练图像集：将不同的随机生成的掩模应用于所述参考边界，使得所述掩模最后遮挡所述参考边界的一部分；

通过以下方式训练包括生成模型和判别模型的条件生成对抗网络：

向所述判别模型提供图像流，所述图像流包括所述训练图像集和由所述生成模型生成的伪图像，其中所述伪图像是随机生成的；以及

更新所述生成模型或所述判别模型的一个或多个参数，使得损失函数被最小化。

10.根据权利要求9所述的方法，其中所述训练还包括：针对所述图像流中的每个图像，通过以下方式迭代地训练条件生成对抗网络：

从判别模型并且针对每个图像，接收对所述图像中的边界的标识；

基于所述边界与所述参考边界之间的差异，计算损失函数；以及

更新所述判别模型的参数，使得所述损失函数被最小化。

11.根据权利要求9所述的方法，其中所述判别模型标识所述伪图像不是真实的，并且其中更新所述参数不基于所述伪图像。

12.根据权利要求9所述的方法，还包括：

访问包括第一对象和第二对象的图像；

通过以下方式标识针对每个对象的边界：

将所述对象提供给所述条件对抗网络；

从所述条件对抗网络接收针对所述对象的完整边界；确定掩模集，其中每个掩模表示由所述第一对象的所述边界与所述第二对象的所述边界的相交部分限定的、所述图像的区域；通过填充所述掩模中的每个掩模，来更新所述掩模集；以及

通过将经更新的所述掩模中的每个掩模合并成输出图像，来创建输出图像。