[发明专利]一种基于时空双分支网络的视频对象检测与分割方法

摘要

本发明公开了一种基于时空双分支网络的视频对象检测与分割方法，该方法包含：以视频作为数据输入，通过视频序列预处理将其分成多张连续的RGB图像，输入到空间分支网络对相对较少的像素标记前景掩码进行微调以生成对象分割图像信息；然后进入时空联合网络训练的目标检测器进行边界重叠度评分，将所有重叠度大于阈值的候选边界框都输入到目标分类器中以检测目标的类别，输出目标类别的评分；通过目标过滤器精细修正对象的边界以进行分割，最后输出对象在图像中的坐标信息和相应的目标类别，实现了复杂场景下的视频对象检测与分割。本发明的方法能够应用于干扰目标繁多和极其复杂的实际场景中，提高了复杂场景下目标对象检测和分割的准确性。

主权项

1.一种基于时空双分支网络的视频对象检测与分割方法，其特征及具体步骤如下：S1，对于一个输入未修剪的视频V，进行视频序列预处理，将其分成K帧，得到视频帧序列的RGB图像，记为V＝{I₁,I₂,…,I_K}；S2，将连续的RGB视频帧图像输入到空间分支网络对目标检测与分类进行预处理，提取空间维度上的高层特征以生成初始像素级的标记；S3，通过对相对较少的像素标记前景掩码进行微调，重新利用空间分支网络生成二进制对象分割图像信息；S4，将连续的视频序列输入时间分支网络以利用时序结构信息，将空间外观图映射到视频帧前景图上以计算每一帧的二进制对象分割；S5，进入时空联合网络训练的目标检测器，判断是否存在目标对象以及检测出目标对象可能存在的区域，对区域候选边界框和对象真实边界框之间的重叠度进行评分；S6，将所有重叠度大于阈值的候选边界框都输入到目标分类器中以检测目标的类别，输出目标类别的评分；S7，再将S6中的目标类别评分和相应的候选边界框输入到目标过滤器中通过精细修正对象的边界以进行分割；S8，输出对象在图像中的坐标信息和相应的目标类别。