[发明专利]基于弱监督学习的视频目标分割方法

说明书

本发明提供了基于弱监督学习的视频目标分割方法和装置，该方法包括步骤：S1、输入原视频和定位框：输入原视频，经过抽帧得到得到各个帧的二维图像，同时还得到各个帧的目标定位框，进行定位框级别的定位；根据定位框在原图上进行切割，得到最后的切割后的图像；S2、将切割后的图像和所述目标定位框输入管道分割模型后得到当前帧的分割掩码即伪标签；S3、用伪标签对视频目标分割模型进行训练。本发明可取得较高的分割精度、提升伪标签的质量、改善原本对每个视频帧独立进行检测框到分割掩码分割造成的连续性差、物品遮挡漏检等问题，模型更具鲁棒性。

技术领域

本发明涉及计算机视觉技术领域，特别涉及基于弱监督学习的视频目标分割 方法。

背景技术

针对视频目标分割任务，现在主流的方法是基于全监督的视频目标分割，方 法包括时空记忆力模型(Space-Time MemoryNetworks,STM)，前后背景融合模型(Collaborative video object segmentation by foreground-backgroundintegration, CFBI)，小样本学习器模型(Learning what to learn for video objectsegmentation, LWL)。这一类方法在训练阶段需要大量精标注的视频数据集，也就是要逐帧逐 像素对这些视频进行标注。在预测阶段需要提供每个视频的第一帧分割掩码，作 为模版告诉模型需要追踪哪些物体。全监督学习方法虽然能够得到较高的分割精 度，但是这类方法过度依赖逐帧逐像素精标注的视频训练集，人工标注成本过高， 且帧与帧之间往往较为相似，导致标注中有很多重复工作。

还有一类相似工作是只使用无标注视频学习的无监督视频目标分割。这类方 法训练过程是无监督的，主要利用了视频中的自然属性(如时序一致性、颜色等) 作为监督信号，学习到高级别的语义信息，然后用到视频目标分割任务上进行评 测。或者是把在静态图像上学习到的特征提取方法，迁移到视频上，用到视频语 义学习。这类方法不再依靠大规模精标注的数据集，但是由于没有第一帧分割掩 码的指导，他们的最终效果和全监督的视频目标分割方法还是有较大的差距。

目前也有个别研究者提出了弱监督的视频目标分割，也就是利用比分割掩码 更粗粒度的标签(比如定位框、多边形、点)来进行训练，使模型能够学习到分 割的功能。例如研究者Paul Voigtlaender提出了一种半自动视频标注方法，即使 用检测框到分割掩码(Bounding box to segmentation mask,简称box2seg)模型，先 用定位框生成分割掩码作为伪标签，再用人工对伪标签进行精修，最终用来训练 视频目标分割网络。但是缺点在于他们使用的检测框到分割掩码模型是在静态图 像上训练的，分割效果不稳定；另一方面他们引入了人工进行交互式修正，成本 依然较高。

本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定 是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术 的承认。

发明内容

本发明目的在于提供基于弱监督学习的视频目标分割方法，以克服传统检测 框到分割掩码模型不能利用时序信息导致分割效果不稳定以及引入人工进行交 互式修正导致成本较高的问题。

为实现上述发明目的，本发明采用以下技术方案：

基于弱监督学习的视频目标分割方法，包括如下步骤：

S1、输入原视频和定位框：输入原视频，经过抽帧得到得到各个帧的二维图 像，同时还得到各个帧的目标定位框，进行定位框级别的定位；根据定位框在原 图上进行切割，得到最后的切割后的图像；

S2、将所述切割后的图像和所述目标定位框输入管道分割模型后得到当前帧 的分割掩码即伪标签；

S3、用所述伪标签对视频目标分割模型进行训练。

进一步地：