[发明专利]利用具有双流编码器架构的神经网络来生成合成数字图像

说明书

本公开的实施例涉及利用具有双流编码器架构的神经网络来生成合成数字图像。本公开涉及利用具有双流编码器架构的神经网络来准确地生成合成数字图像，合成数字图像针对来自另一数字图像的场景逼真地描绘来自一个数字图像的前景对象。例如，所公开的系统可以利用神经网络的前景编码器标识来自前景图像的特征，并且进一步利用背景编码器标识来自背景图像的特征。所公开的系统然后可以利用解码器将特征融合在一起并且生成合成数字图像。所公开的系统可以利用经由自我教学实现的从易到难的数据增强方案来训练神经网络。所公开的系统可以进一步将神经网络包含在端到端框架内以用于图像合成过程的自动化。

技术领域

本公开的实施例涉及数字图像领域，并且更具体地涉及利用神经网络来生成合成(composite)数字图像。

背景技术

近年来，在执行用于编辑数字图像的各种任何的硬件和软件平台方面已经取得了显著改进。例如，许多常规系统执行图像合成，从而组合来自不同数字图像的区域以生成新的合成数字图像。为了说明，一些常规系统可以通过将在一个数字图像中描绘的前景对象(例如人)的图像叠加到另一数字图像中描绘的场景(例如背景)上来生成合成数字图像。因此，所得到的合成数字图像可以具有前景对象的图像实际上针对背景被捕获的外观。

然而，尽管取得了这些进步，但常规图像合成系统仍受到若干技术缺陷的限制，这些技术缺陷导致不准确且不灵活的操作。例如，常规图像合成系统通常无法准确地生成合成数字图像，这些合成数字图像针对来自第二数字图像的背景逼真地描绘来自第一数字图像的前景对象。为了说明，许多常规系统通过提取数字图像的包含前景对象的区域，然后将该区域直接粘贴到期望背景上来生成合成数字图像。然而，由于沿着边界的像素相当于前景对象和背景两者的线性组合，因此这种剪切粘贴方法通常导致沿着前景对象的边界的不自然伪影。一些常规图像合成系统试图通过实现低级图像混合方法(例如泊松混合、拉普拉斯金字塔混合、羽化、引导过滤等)来解决边界伪影。然而，这些方法通常引入其他不期望的效果，诸如颜色失真或不平滑的光晕伪影等。因此，这种常规系统可以在最终合成数字图像中引入附加不准确性。

除了对准确性的关注之外，常规图像合成系统也是不灵活的。例如，常规图像合成系统通常是不灵活的，这是因为常规图像合成系统在不具有经由手动用户输入提供的指导的情况下无法生成合成数字图像。为了说明，作为低级图像混合方法的备选方案，一些常规系统利用图像抠图(matting)方法来抑制边界伪影。然而，图像抠图通常需要人工输入(例如三元图)来标识要处理的前景、背景以及不确定的区域。确实，许多常规系统在不具有大量用户输入的情况下无法完成图像合成过程的许多其他基本编辑步骤(例如分割、抠图、前景色去污)。另外，许多常规系统无法适应训练数据的有限可用性，从而导致用于生成合成数字图像的模型的最小训练。

针对常规图像合成系统存在这些以及附加问题。

发明内容

本文中所描述的一个或多个实施例提供益处和/或利用系统、方法和非瞬态计算机可读介质来解决本领域中的前述或其他问题中的一个或多个，这些系统、方法和非瞬态计算机可读介质利用具有双流编码器架构的多级融合神经网络来准确地生成逼真的合成数字图像。例如，在一个或多个实施例中，系统向多级融合神经网络提供前景图像和背景图像。多级融合神经网络可以使用两个分离的编码器来分别从前景图像和背景图像中的每一个提取多尺度特征。多级融合神经网络然后可以使用解码器基于多尺度特征来生成合成数字图像，从而在从前景图像提取到的对象与在背景图像中所描绘的场景之间提供自然混合。在一个或多个实施例中，系统通过经由自我教学实现的从易到难的数据增强方案来训练多级融合神经网络以生成合成数字图像。在一些实施例中，系统将多级融合神经网络包含在提供自动的端到端数字图像合成的深度学习图像合成框架内。以这种方式，系统可以灵活地生成针对背景准确地描绘前景对象的合成数字图像。