[发明专利]用于训练光流网络、以及处理图像的方法和装置

权利要求书

1.一种用于训练光流网络的方法，包括：

获取图像集；

对于所述图像集中的图像，执行如下的样本生成操作：利用基于预设的随机函数确定的第一仿射变换矩阵，对该图像进行仿射变换得到变换图像；确定该图像的像素点的位置变换信息作为该图像和对应的变换图像之间的光流；利用该图像、对应的变换图像，以及对应的光流组成训练样本；

基于对所述图像集中的各个图像执行所述样本生成操作得到的训练样本组成的训练样本集，训练得到光流网络，其中，所述光流网络用于生成两幅图像之间的光流；

其中，所述利用基于预设的随机函数确定的第一仿射变换矩阵，对该图像进行仿射变换得到变换图像，包括：利用所述第一仿射变换矩阵，确定该图像包含的前景图像的像素点经过仿射变换后的位置信息；利用基于所述随机函数确定的第二仿射变换矩阵，对该图像对应的背景图像进行仿射变换得到变换背景图像；在所述变换背景图像的、所述位置信息指示的位置处融合该图像对应的前景图像，得到该图像对应的变换图像；

所述第一仿射变换对应的随机函数的取值范围为第一区间，所述第二仿射变换对应的随机函数的取值范围为第二区间，且第二区间为第一区间的真子区间，第二区间的上限小于第一区间内的目标数值。

2.根据权利要求1所述的方法，其中，所述图像集通过如下步骤生成：

获取前景图像集，以及获取背景图像集；

将所述前景图像集中的各个前景图像分别与所述背景图像集中的各个背景图像融合，得到图像集。

3.根据权利要求2所述的方法，其中，所述利用基于预设的随机函数确定的第一仿射变换矩阵，对该图像进行仿射变换得到变换图像，包括：

利用所述第一仿射变换矩阵，确定该图像包含的前景图像的像素点经过仿射变换后的位置信息；

在该图像对应的背景图像的、所述位置信息指示的位置处融合该图像对应的前景图像，得到该图像对应的变换图像。

4.根据权利要求1-3之一所述的方法，其中，所述随机函数生成的随机数满足高斯分布。

5.一种用于处理图像的方法，包括：

获取第一图像，以及获取所述第一图像的后一帧图像作为第二图像；

将所述第一图像和第二图像输入至预先训练的光流网络，得到所述第一图像和第二图像之间的光流，其中，所述光流网络通过如权利要求1-4之一所述的方法训练得到；

获取对所述第一图像进行图像分割得到的第一分割图像，以及获取对所述第二图像进行图像分割得到的第二分割图像；

根据所得到的光流，对所述第一分割图像进行处理以预测第二分割图像，得到预测图像；

将得到的预测图像与所述第二分割图像进行融合，得到处理后的第二分割图像。

6.一种用于训练光流网络的装置，包括：

第一获取单元，被配置成获取图像集；

生成单元，被配置成对于所述图像集中的图像，执行如下的样本生成操作：利用基于预设的随机函数确定的第一仿射变换矩阵，对该图像进行仿射变换得到变换图像；确定该图像的像素点的位置变换信息作为该图像和对应的变换图像之间的光流；利用该图像、对应的变换图像，以及对应的光流组成训练样本；

训练单元，被配置成基于对所述图像集中的各个图像执行所述样本生成操作得到的训练样本组成的训练样本集，训练得到光流网络，其中，所述光流网络用于生成两幅图像之间的光流；

生成单元进一步被配置成：利用所述第一仿射变换矩阵，确定该图像包含的前景图像的像素点经过仿射变换后的位置信息；利用基于所述随机函数确定的第二仿射变换矩阵，对该图像对应的背景图像进行仿射变换得到变换背景图像；在所述变换背景图像的、所述位置信息指示的位置处融合该图像对应的前景图像，得到该图像对应的变换图像；

其中，所述第一仿射变换对应的随机函数的取值范围为第一区间，所述第二仿射变换对应的随机函数的取值范围为第二区间，且第二区间为第一区间的真子区间，第二区间的上限小于第一区间内的目标数值。