[发明专利]一种视频多目标关联与分割方法及系统

权利要求书

1.一种视频多目标关联与分割方法，其特征在于，包括以下步骤：

步骤1，用可变形的R-FCN网络对视频的每一帧进行目标检测，得到所述每一帧的N个目标提议以及每个目标提议的置信度分数；基于注意力机制，定位出视频主要目标所在区域R；基于门控机制，计算每个目标提议是视频主要目标的置信度分数，设定阈值筛选出目标，将筛选出的目标作为视频主要目标；

步骤2，利用相同类别相同实例的正样本、相同类别不同实例的负样本和不同类别不同实例的负样本三类数据训练孪生网络，获得训练好的孪生网络；将视频当前帧中某一待匹配视频主要目标与前一帧中所有视频主要目标，两两成对地输入训练好的孪生网络，进行特征提取；计算两个视频主要目标之间的相似度A_b，设定阈值，判断当前帧待匹配视频主要目标属于的实例，获得当前帧待匹配视频主要目标的关联信息；匹配失败，则将当前帧待匹配视频主要目标与已有目标特征集进行匹配，计算相似度A_v，设定阈值，判断当前帧待匹配视频主要目标属于的实例，获得待匹配视频主要目标的关联信息；

步骤3，二值分割网络模型的生成，包括：

步骤3.1)采集原始图片，用可变形的R-FCN网络对采集的原始图片进行目标检测，获得目标的边界框；对原始图片进行1:1、1:2和2:1三种尺寸的缩放，得到三张不同分辨率的图像；

步骤3.2)对于每种分辨率的图像，利用分水岭算法得到边缘概率映射的轮廓图，根据轮廓图生成图像的超度量轮廓图；利用超度量轮廓图获取图像的M个超像素，将每个超像素记为一个叶子结点，两两合并成M-1个非叶子结点，构造出一颗完全二叉树，所述分辨率的图像为根节点，共有2M-1个分割提议；从二叉树中分离P组分割提议；

步骤3.3)将三张超度量轮廓图融合在一起，获得第四张超度量轮廓图；基于四张超度量轮廓图，得到4P组分割提议；将获得的4P组分割提议进行重叠率筛选，将重叠率大于等于0.95的筛选出来剔除，然后进行孔填充，获得筛选填充后的分割提议；

步骤3.4)提取每个筛选填充后的分割提议的2D特征，训练随机森林回归器，对筛选填充后的分割提议进行排名，获得排名后的分割提议；

步骤3.5)计算步骤3.4)获得的排名后的分割提议与步骤3.1)获得的目标的边界框的重叠率；其中，将重叠率最大值对应的分割提议作为伪标注信息；

步骤3.6)通过伪标注信息对应的边界框对原始图片进行裁剪；裁剪后，边界框内的信息作为检测结果；将伪标注信息以及与其对应的检测结果作为训练数据集，训练二值分割网络，获得训练好的二值分割网络模型；

步骤4，将步骤1获得的视频主要目标输入步骤3训练好的二值分割网络模型，获得分割结果；将获得的分割结果与步骤2获得的关联信息相结合，获得视频主要目标的最终输出，完成视频多目标关联与分割。

2.根据权利要求1所述的一种视频多目标关联与分割方法，其特征在于，步骤1中，视频主要目标选择的表达式为，

式中，α、β是调节系数，为视频帧中检测到的目标，为视频帧中检测到的目标的置信度，为视频帧中检测到的目标与视频主要目标所在区域R的距离，为门控得分。

3.根据权利要求2所述的一种视频多目标关联与分割方法，其特征在于，步骤1中，α、β的取值分别为0.8、0.2。

4.根据权利要求1所述的一种视频多目标关联与分割方法，其特征在于，步骤2中，任意两个目标之间的相似性关系A_b的计算表达式为，

式中，F(·,·)表示两者之间的相似距离，表示第t帧的第i个目标，表示第t-1帧的第j个目标。

5.根据权利要求4所述的一种视频多目标关联与分割方法，其特征在于，步骤2中，匹配失败后，相似性A_v计算表达式为，

式中，Z_q表示第q个目标的检测框集合。