[发明专利]一种基于生成对抗网络的视频目标分割方法

说明书

本发明公开了一种基于生成对抗网络的视频目标分割方法。本发明方法首先将视频输入考虑首帧以及相邻帧分别与当前帧关系的生成网络模型，经过全卷积神经网络及反卷积上采样，获得生成网络视频分割矩阵；其次，利用视频帧及其生成网络视频分割矩阵构建判别网络模型，获得判别矩阵；再次，采取对抗式学习策略交替优化判别网络与生成网络，使得生成网络尽可能生成与真实分割矩阵一致的视频分割矩阵。本发明通过生成对抗网络能够学习得到更符合真实视频目标数据分布的分割结果，同时充分考虑视频内目标的长期关系和短期关系，能够处理视频内目标的复杂变化，如目标快速运动和形状变化，提高了视频目标分割的准确度和鲁棒性。

技术领域

本发明属于计算机技术领域，具体是计算机视觉中的视频目标分割技术领域，涉及一种基于生成对抗网络的视频目标分割方法。

背景技术

随着视频数据规模的急速扩张，对视频做编辑修改的需求迅猛增加，因此研究视频目标分割变得尤为重要。视频目标分割方法在自动驾驶、视频编辑、安防监控等领域有着广阔的应用前景。

图像目标分割是指从给定的图像中找出感兴趣的目标，并对目标类别进行像素级的标注；而视频目标分割针对视频的每一帧进行目标类别的像素级的标注。视频目标分割方法主要考虑三种场景：1)提供第一帧图像标注的半监督视频目标分割；2)无帧图像标注的无监督视频目标分割；3)交互式的视频目标分割(提供模糊的视频帧标注，例如在目标上画一笔作为模糊标注)；目前较多方法主要处理第一类半监督视频分割场景。

由于视频内的目标往往会产生大量的复杂变化，如形状、亮度、甚至目标消失，这些问题给视频目标分割带来了巨大的挑战。现有的方法通常使用深度神经网络，主要有两种方法：1)基于检测的方法，具体考虑目标在视频中外观的相似性，一般先使用大规模的图像数据集进行图像目标分割模型的预训练，然后迁移预训练的模型到视频数据集进行视频目标分割模型的训练，并针对指定视频进行调优；2)基于传播的方法，具体利用视频的目标之间存在的关联性(例如动作的连续性)，将前一帧的视频目标分割结果作为当前帧的指导信息传入深度神经网络，从而得到当前帧的视频目标分割结果。

综上所述，上述方法的不足点主要表现在两方面：1)基于检测的方法虽然考虑了视频目标的相似性，但没有考虑视频目标的变化；同时由于视频内背景的复杂性，可能存在与目标相似的背景，导致错误的分割结果；2)基于传播的方法虽然考虑了视频目标在时序上的相关性，但没有考虑到长期的目标变化；若出现目标消失，该方法将产生错误分割，且某一帧产生的错误分割信息可能传播到下一帧，导致分割性能受到影响。这些方法在处理视频目标分割任务时，不能很好满足实际视频目标分割的需求，因而迫切需要设计一种能够充分利用视频目标的外观相似性与时序间相关性的方法，达到优越的视频目标分割性能。

发明内容

本发明的目的就是针对现有技术的不足，提供一种基于生成对抗网络的视频目标分割方法，可以有效利用视频目标的长期关系和短期关系应对目标的复杂变化，提高视频目标分割的准确度和鲁棒性。

本发明方法首先获取视频数据集，然后进行如下操作：

步骤(1).利用输入视频中首帧以及相邻帧与当前帧的关系，构建视频生成网络模型，经过全卷积神经网络及反卷积上采样，获得生成网络视频分割矩阵；

步骤(2).利用视频帧及其生成网络视频分割矩阵，构建判别网络模型，获得判别矩阵；

步骤(3).采取对抗式学习策略交替优化判别网络与生成网络，使得生成网络尽可能生成与真实分割矩阵一致的视频分割矩阵；

所述的对抗式学习策略为生成网络和判别网络的优化目标相互冲突并在对抗过程中优化，所述的交替优化指使用随机梯度下降法先优化判别网络再优化生成网络，依次交替优化损失函数；

步骤(4).将新视频输入已训练优化的生成网络模型，获得对应的生成网络视频分割矩阵，即视频目标分割结果。

进一步，步骤(1)的具体方法是：