[发明专利]用于训练光流网络、以及处理图像的方法和装置

说明书

本公开的实施例公开了用于训练光流网络的方法和装置。该方法的一具体实施方式包括：获取图像集；对于图像集中的图像，执行如下的样本生成操作：利用基于预设的随机函数确定的第一仿射变换矩阵，对该图像进行仿射变换得到变换图像；确定该图像的像素点的位置变换信息作为该图像和对应的变换图像之间的光流；利用该图像、对应的变换图像，以及对应的光流组成训练样本；基于对图像集中的各个图像执行样本生成操作得到的训练样本组成的训练样本集，训练得到光流网络，光流网络用于生成两幅图像之间的光流。该实施方式可以低成本的获取大量的训练样本以训练得到光流网络。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及用于训练光流网络的方法和装置。

背景技术

光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧和当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般地，光流是由于场景中前景目标本身的移动、相机的运动、或者两者的共同运动所产生的。

光流法是目前运动图像分析的一种重要方法。目前，广泛研究的一个方向是利用卷积神经网络实现两幅图像之间的光流预测。但是可用于训练能够预测光流的神经网络的数据非常少。

发明内容

本公开的实施例提出了用于训练光流网络、以及处理图像的方法和装置。

第一方面，本公开的实施例提供了一种用于训练光流网络的方法，该方法包括：获取图像集；对于图像集中的图像，执行如下的样本生成操作：利用基于预设的随机函数确定的第一仿射变换矩阵，对该图像进行仿射变换得到变换图像；确定该图像的像素点的位置变换信息作为该图像和对应的变换图像之间的光流；利用该图像、对应的变换图像，以及对应的光流组成训练样本；基于对图像集中的各个图像执行样本生成操作得到的训练样本组成的训练样本集，训练得到光流网络，其中，光流网络用于生成两幅图像之间的光流。

在一些实施例中，图像集通过如下步骤生成：获取前景图像集，以及获取背景图像集；将前景图像集中的各个前景图像分别与背景图像集中的各个背景图像融合，得到图像集。

在一些实施例中，利用基于预设的随机函数确定的第一仿射变换矩阵，对该图像进行仿射变换得到变换图像，包括：利用第一仿射变换矩阵，确定该图像包含的前景图像的像素点经过仿射变换后的位置信息；在该图像对应的背景图像的、位置信息指示的位置处融合该图像对应的前景图像，得到该图像对应的变换图像。

在一些实施例中，利用基于预设的随机函数确定的第一仿射变换矩阵，对该图像进行仿射变换得到变换图像，包括：利用第一仿射变换矩阵，确定该图像包含的前景图像的像素点经过仿射变换后的位置信息；利用基于随机函数确定的第二仿射变换矩阵，对该图像对应的背景图像进行仿射变换得到变换背景图像；在变换背景图像的、位置信息指示的位置处融合该图像对应的前景图像，得到该图像对应的变换图像。

在一些实施例中，第一仿射变换矩阵通过如下步骤确定：控制随机函数的取值范围为第一区间，以及利用随机函数确定第一仿射变换矩阵；以及第二仿射变换矩阵通过如下步骤确定：控制随机函数的取值范围为第二区间，以及利用随机函数确定第二仿射变换矩阵。

在一些实施例中，随机函数生成的随机数满足高斯分布。

第二方面，本公开的实施例提供了一种用于处理图像的方法，包括：获取第一图像，以及获取第一图像的后一帧图像作为第二图像；将第一图像和第二图像输入至预先训练的光流网络，得到第一图像和第二图像之间的光流，其中，光流网络通过如第一方面中任一实现方式描述的方法训练得到；获取对第一图像进行图像分割得到的第一分割图像，以及获取对第二图像进行图像分割得到的第二分割图像；根据所得到的光流，对第一分割图像进行处理以预测第二分割图像，得到预测图像；将得到的预测图像与第二分割图像进行融合，得到处理后的第二分割图像。