[发明专利]光流生成装置和方法

说明书

本发明公开了一种光流生成装置，包括：生成对抗网络；生成对抗网络包括第一生成器和判别器；第一生成器包括第一神经网络，第一生成器输入两帧图像，输出对应的第一预测光流；第一生成器的输出端连接判别器的输入端；判别器包括第二神经网络，判别器输入两帧图像和光流并判断所输入的光流的真实性，判别器输入的光流包括训练集对应的样本光流或第一预测光流；第一生成器的第一神经网络的权重参数通过训练得到，当判别器无法区分所述第一预测光流和样本光流时，第一生成器的训练完成。本发明还公开了一种光流生成方法。本发明具有更好的光指标和更快的训练速度。

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种光流生成装置。本发明还涉及一种光流生成方法。

背景技术

在对运动物体进行拍摄或者拍摄体本身进行运动时对外部环境进行拍摄的过程中，会形成连续的帧图像，对于帧图像中的运动物体，由于运动物体的实际位置会随着时间的变化而变化，而帧图像则是按时间先后顺序排列，故运动物体在帧图像中的位置也会不断变化，光流就是指运动物体对应的图像在不同帧图像中的位置的变化；也能表述为：在计算机视觉中，光流定义图像中对象的移动，这个移动可以是相机移动或者物体移动引起的。具体是指，视频图像的一帧中的代表同一对象(物体)像素点移动到下一帧的移动量，使用二维向量表示。而光流生成装置则能根据计算出帧图像中的运动物体的光流并对运动物体的未来位置进行预测。通过光流计算，能实现动作捕捉、动作预测、物体跟踪和动作识别等。

现有光流生成方法包括直接计算光流, 直接计算光流主要是采用卢卡斯-金出(Lucas-Kanade，L-K)，这个方法是由Bruce D. Lucas和Takeo Kanade发明的。它假设光流在像素点的邻域是一个常数，然后使用最小二乘法对邻域中的所有像素点求解基本的光流方程。直接计算光流的计算量较大，速度较慢。

随着深度学习技术的发展并广泛地应用于计算机视觉等人工智能领域，也开始采用卷积神经网络（CNN）来解决光流估计问题，用于计算光流的CNN最初网络结构为FlowNet，改进版本为FowNet2.0。现有技术中普遍采用FlowNet2.0来计算光流。

FlowNet中，通常包括降维的编码（encoder）模块和升维的解码（decoder）模块；encoder模块包括FlowNetS和FlowNetCoor。其中，FlowNetCoor的效果更好，加入了人工相关运算。FlowNetS和FlowNetCoor的decoder模块相同。

FlowNet2.0的网络结构中，则包括FlowNetCoor+FlowNetS+FlowNetS的叠加结构，FlowNet2.0计算速度很快，达到实时的要求。

发明内容

本发明所要解决的技术问题是提供一种光流生成装置，具有更好的光指标和更快的训练速度。为此，本发明还提供一种光流生成方法。

为解决上述技术问题，本发明提供的光流生成装置包括：生成对抗网络。

所述生成对抗网络包括第一生成器和判别器。

所述第一生成器包括第一神经网络，所述第一生成器输入两帧图像，输出对应的第一预测光流。

所述第一生成器的输出端连接所述判别器的输入端。