[发明专利]训练多幅图像的对齐

说明书

提出了生成输入图像数据集的构思，所述输入图像数据集可以用于训练对多幅合成图像的对齐。这样的构思可以基于以下思想：根据任意参考图像的副本来生成输入图像数据集，这些副本在各个方向上发生移位。通过这种方式，可以使用单幅任意图像来创建人为未对齐的输入图像输入样本(即，输入图像数据集)，所述人为未对齐的输入图像输入样本(即，输入图像数据集)能够用于训练神经网络。

技术领域

本发明涉及图像对齐的领域，并且更特别地涉及训练神经网络以对齐多幅图像(例如，合成视图)。

背景技术

深度信息(例如，估计的深度图(几何))对于基于观察到的/捕获到的图像对虚拟视图的合成/绘制是必需的。当根据多幅参考图像来预测虚拟/合成的视图时，使用偏置的和/或不准确的深度信息会导致明显发生移位的纹理，并且/或者当观察者更改虚拟视图时会导致可见的转变。例如，双图像/发生移位的纹理可能是由于深度图的偏置(例如，高估或低估)引起的。因此，期望自动和/或准确地采集深度信息。

然而，已经证明：从多幅相机图像中自动提取3D几何信息很困难。一个特定的困难之处可能是由于缺乏可靠的深度线索而无法获得准确的深度信息。针对多视图图像的改进的深度估计仅仅使得用于3D重建的合成视图的质量得到适度提高。

已知的获得深度信息的方法包括使用红外光源、红外飞行时间、后期制作中的手动细化以及施加应用相关的约束。然而，对于许多实况事件，后期制作和使用红外光源都是不可行的。

因此，仍然需要获得对对齐多幅图像和/或合成虚拟视图有用的数据的构思。

发明内容

本发明由权利要求来限定。

根据本发明的一个方面的示例，提供了一种用于生成输入图像数据集的方法，所述输入图像数据集用于训练神经网络以对齐多幅图像。所述方法包括：获得参考图像的第一副本；获得所述参考图像的第二副本；将所述参考图像的所述第一副本在第一方向上进行移位以生成第一移位图像；将所述参考图像的所述第二副本在第二方向上进行移位以生成第二移位图像；并且基于所述第一移位图像和所述第二移位图像来生成包括多幅图像的输入图像数据集。

提出了生成输入样本的构思，所述输入样本可以用于训练对多幅合成图像的对齐。这样的构思可以基于以下思想：根据任意参考图像的副本来生成输入样本，这些副本在各个方向上发生移位。通过这种方式，可以使用单幅任意图像来创建人为未对齐的输入样本(即，输入图像数据集)，所述人为未对齐的输入样本(即，输入图像数据集)能够用于训练神经网络。

提出的实施例可以采用例如以下构思：获取任意图像，并且将原始的任意图像在相反的方向上进行多次移位以创建人为未对齐的输入图像数据集。这样的方法可以避免对数据注释的需求，因为人为创建了输入样本数据。提出的实施例还可以有助于创建大量合成训练样本。另外，可以选择应用的移位(例如基于相机捕获几何、相机取向等)对预计的未对齐移位进行建模。