[发明专利]一种视频多目标关联与分割方法及系统

说明书

本发明公开了一种视频多目标关联与分割方法及系统，所述方法首先采用目标检测方法对视频的每一帧生成多个目标候选，结合注意力机制生成的视频感兴趣区域，筛选出视频主要目标；然后利用孪生网络计算不同目标之间的相似性，得到视频主要目标在时间上的一致性关系；最后利用目标分割网络得到视频主要目标的分割预测。本发明能够提升视频多目标分割的准确率。

技术领域

本发明属于计算机视觉技术领域，特别涉及一种视频多目标关联与分割方法及系统。

背景技术

视频分割技术作为视频处理的关键步骤，对视频分析有很大的影响，在理论和实际应用中有重要的研究价值。

目前，传统的视频分割方法普遍存在以下问题：

(1)多数无监督式视频分割方法是针对视频中只有一个主要目标，而在许多现实视频中往往需要分析多个视频目标，现有方法不太适用；

(2)现有的无监督式视频多目标分割方法少之又少，并且都假设视频每一帧都包含目标，而这一假设在现实视频中是不成立的，目标往往会交替出入视野，而且常常有不包含目标的视频帧(噪声帧)，现有方法在处理含有噪声帧的视频时分割准确度会降低。

综上，从实际应用情况出发，针对未剪辑长视频，亟需一种多目标数据关联与分割方法。

发明内容

本发明的目的在于提供一种视频多目标关联与分割方法及系统，以解决上述存在的一个或多个技术问题。本发明的方法，可在没有额外输入的条件下确定视频的主要目标，可在有噪声帧的情况下完成数据关联，能够更有效地对视频主要目标进行分割，提高分割结果的准确性。

为达到上述目的，本发明采用以下技术方案：

本发明的一种视频多目标关联与分割方法，包括以下步骤：

步骤1，用可变形的R-FCN网络对视频的每一帧进行目标检测，得到所述每一帧的N个目标提议以及每个目标提议的置信度分数；基于注意力机制，定位出视频主要目标所在区域R；基于门控机制，计算每个目标提议是视频主要目标的置信度分数，设定阈值筛选出目标，将筛选出的目标作为视频主要目标；

步骤2，利用相同类别相同实例的正样本、相同类别不同实例的负样本和不同类别不同实例的负样本三类数据训练孪生网络，获得训练好的孪生网络；将视频当前帧中某一待匹配视频主要目标与前一帧中所有视频主要目标，两两成对地输入训练好的孪生网络，进行特征提取；计算两个视频主要目标之间的相似度A_b，设定阈值，判断当前帧待匹配视频主要目标属于的实例，获得当前帧待匹配视频主要目标的关联信息；匹配失败，则将当前帧待匹配视频主要目标与已有目标特征集进行匹配，计算相似度A_v，设定阈值，判断当前帧待匹配视频主要目标属于的实例，获得待匹配视频主要目标的关联信息；

步骤3，二值分割网络模型的生成，包括：

步骤3.1)采集原始图片，用可变形的R-FCN网络对采集的原始图片进行目标检测，获得目标的边界框；对原始图片进行1:1、1:2和2:1三种尺寸的缩放，得到三张不同分辨率的图像；

步骤3.2)对于每种分辨率的图像，利用分水岭算法得到边缘概率映射的轮廓图，根据轮廓图生成图像的超度量轮廓图；利用超度量轮廓图获取图像的M个超像素，将每个超像素记为一个叶子结点，两两合并成M-1个非叶子结点，构造出一颗完全二叉树，所述分辨率的图像为根节点，共有2M-1个分割提议；从二叉树中分离P组分割提议；

步骤3.3)将三张超度量轮廓图融合在一起，获得第四张超度量轮廓图；基于四张超度量轮廓图，得到4P组分割提议；将获得的4P组分割提议进行重叠率筛选，将重叠率大于等于 0.95的筛选出来剔除，然后进行孔填充，获得筛选填充后的分割提议；