[发明专利]一种基于时空双分支网络的视频对象检测与分割方法

说明书

本发明公开了一种基于时空双分支网络的视频对象检测与分割方法，该方法包含：以视频作为数据输入，通过视频序列预处理将其分成多张连续的RGB图像，输入到空间分支网络对相对较少的像素标记前景掩码进行微调以生成对象分割图像信息；然后进入时空联合网络训练的目标检测器进行边界重叠度评分，将所有重叠度大于阈值的候选边界框都输入到目标分类器中以检测目标的类别，输出目标类别的评分；通过目标过滤器精细修正对象的边界以进行分割，最后输出对象在图像中的坐标信息和相应的目标类别，实现了复杂场景下的视频对象检测与分割。本发明的方法能够应用于干扰目标繁多和极其复杂的实际场景中，提高了复杂场景下目标对象检测和分割的准确性。

技术领域

本发明属于计算机图形与图像处理领域，涉及一种基于时空双分支网络的视频对象检测与分割方法。

背景技术

视频对象分割是近年来比较活跃的研究领域，在视频压缩、视频监控和基于视频的目标检测中有重要的应用。视频对象分割可以被定义为将前景对象与背景区域进行分离的二值标记问题，一般是分割整个视频序列中最显著的、最关键的物体。虽然视频对象分割技术各异，但从监督的程度被划分了三类，即无监督式、半监督式以及监督式分割。无监督式分割不需要被分割样本的先验知识，半监督式视频对象分割需要给出要分割对象的一帧或多帧以进行人工标注，监督式的方法主要继承自图像分割，该方法较为不常用。

已有的算法形如变化检测方法、边缘检测和视频显著性检测等算法，与静态图像分割类似，通过从物体的外观，如颜色、纹理、形状等静态信息中学习特征以建立视频对象分割模型，根据这些信息对物体进行分割。考虑到视频与静态图像的本质区别在于视频包含了丰富的运动信息，所以部分方法将运动信息与表观特征信息进行互补，建立了结合运动信息的模型。但是运动信息目前几乎是采用光流的方法进行获取，不能充分地利用视频的时序结构信息，在背景复杂及干扰物存在较多的实际工程场景中，现有方法的检测结果仍有待提高。因此，如何在干扰目标繁多和极其复杂的场景中，充分地利用时间和空间信息进行准确高效的视频对象检测与分割成为一个亟待解决的难题。

发明内容

本发明为了克服上述缺陷，提出了一种基于时空双分支网络的视频对象检测与分割方法，本发明具体步骤如下：

S1，对于一个输入未修剪的视频V，进行视频序列预处理，将其分成K帧，得到视频帧序列的RGB图像，记为V＝{I₁,I₂,…,I_K}；

S2，将连续的RGB视频帧图像输入到空间分支VGG网络对目标检测与分类进行预处理，提取空间维度上的高层特征以生成初始像素级的标记；

S3，通过对相对较少的像素标记前景掩码进行微调，重新利用空间分支VGG网络生成二进制对象分割图像信息；

S4，将连续的视频序列输入时间分支网络以利用时序结构信息，将空间外观图映射到视频帧前景图上以计算每一帧的二进制对象分割；

S5，进入时空联合网络训练的目标检测器，判断是否存在目标对象以及检测出目标对象可能存在的区域，对区域候选边界框和对象真实边界框之间的重叠度进行评分；

S6，将所有重叠度大于阈值的候选边界框都输入到目标分类器中以检测目标的类别，输出目标类别的评分；

S7，再将S6中的目标类别评分和相应的候选边界框输入到目标过滤器中通过精细修正对象的边界以进行分割；

S8，输出对象在图像中的坐标信息和相应的目标类别。

本发明的技术方案特征和改进为：

对于步骤S2，本发明使用的空间分支网络使用原始的VGG网络架构，并将其完全连接层换为卷积层，由此可以提取到多个维度上的特征，该网络允许每一帧中出现多个假设可能的前景区域以供后期过滤阶段进行边界框的筛选，通过生成初始像素级的标记，为下一级检测提供数据。