[发明专利]训练多幅图像的对齐

权利要求书

1.一种用于生成输入图像数据集的方法，所述输入图像数据集用于训练神经网络以对齐多幅图像，所述方法包括：

获得参考图像的第一副本；

获得所述参考图像的第二副本；

将所述参考图像的所述第一副本在第一方向上进行移位以生成第一移位图像；

将所述参考图像的所述第二副本在第二方向上进行移位以生成第二移位图像；并且

基于所述第一移位图像和所述第二移位图像来生成包括多幅图像的输入图像数据集。

2.根据权利要求1所述的方法，其中，将所述参考图像的所述第一副本在所述第一方向上进行移位包括：将所述参考图像的所述第一副本在所述第一方向上移位一定距离，

并且其中，将所述参考图像的所述第二副本在所述第二方向上进行移位包括：将所述参考图像的所述第二副本在相反的第二方向上移位相同的距离。

3.根据权利要求1所述的方法，还包括：

创建所述参考图像的第三副本；

将所述参考图像的所述第三副本在第三方向上进行移位以生成第三移位图像，

并且其中，生成所述输入图像数据集还基于所述第三移位图像。

4.根据权利要求3所述的方法，其中，将所述参考图像的所述第一副本、所述第二副本和所述第三副本进行移位以生成所述第一移位图像、所述第二移位图像和所述第三移位图像的移位是分别通过第一向量、第二向量和第三向量来表示的，并且其中，所述第一向量、所述第二向量和所述第三向量的总和等于零。

5.根据任一前述权利要求所述的方法，其中，生成所述输入图像数据集包括串联所述第一移位图像与所述第二移位图像。

6.根据任一前述权利要求所述的方法，其中，将所述参考图像的所述第一副本在第一方向上进行移位包括：

将移位操作应用于所述参考图像的所述第一副本，以便生成中间图像，所述中间图像包括在所述第一方向上移位的所述参考图像的所有像素；并且

裁剪所述中间图像，以便生成所述第一移位图像。

7.根据权利要求1至6中的任一项所述的方法，其中，将所述参考图像的所述第一副本在第一方向上进行移位包括：

用前景图像覆盖所述参考图像的所述第一副本的部分，以便生成部分遮挡的图像，所述部分遮挡的图像包括：所述参考图像的非遮挡部分；以及包括所述前景图像的遮挡部分；

将第一移位操作应用于所述参考图像的所述非遮挡部分，以便生成中间非遮挡部分，所述中间非遮挡部分包括在所述第一方向上移位了第一移位距离的参考图像的所述非遮挡部分的所有像素；

将第二移位操作应用于所述遮挡部分，以便生成中间遮挡部分和中间空白部分，所述中间遮挡部分包括在所述第一方向上移位了更大的第二移位距离的所述前景图像的所有像素，所述中间空白部分没有来自所述参考图像和所述前景图像的像素；

根据所述中间非遮挡部分、所述中间遮挡部分和所述中间空白部分来形成中间图像；并且

裁剪所述中间图像，以便生成所述第一移位图像。

8.根据任一前述权利要求所述的方法，其中，将所述参考图像的所述第一副本在第一方向上进行移位包括：

将移位操作应用于所述参考图像的所述第一副本，其中，所述移位操作被配置为模拟所述参考图像的预测未对齐。

9.一种训练神经网络以对齐多幅图像的方法，所述方法包括：

根据任一前述权利要求所述地生成输入图像数据集；并且

将所述神经网络训练为将所述输入图像数据集映射到所述参考图像。

10.根据权利要求9所述的方法，其中，训练所述神经网络包括：

将所述输入图像数据集提供到Lucas-Kanade光流，其中，所述光流被布置为所述神经网络的子图。