[发明专利]一种半监督的单目标视频分割方法

说明书

本发明公开了一种半监督的单目标视频分割方法，属于视频目标分割技术领域。本发明基于网络结构逐层的非线性变换，训练网络权重，并通过改进的U‑net网络进行卷积池化下采样然后上采样，获取原图的形状，得到每个像素的的目标识别预测值，获取对应模板目标物体的搜索图片的单目标视频分割结果。将所获得的分割结果用于目标跟踪中，可以实现对跟踪目标的准确定位，提升目标跟踪处理性能。

技术领域

本发明涉及视频目标分割技术领域，具体涉及一种半监督的单目标视频分割方法。

背景技术

随着硬件、软件及人工智能多个领域的迅速发展，语义分割成为计算机视觉研究领域的热点之一，并得到广泛应用。目前基于图像的语义分割已经可以做到非常好，但是面对单帧观测不好，遮挡，运动模糊，光照不好等情况效果不好，而实际机器人在环境中是可以对环境进行连续长时间的观测，在时间上有很多的信息冗余，从数据融合的角度考虑，大量的数据冗余可以抵消观测中的噪声，所以理论上用视频做图像或者视觉任务应该比单帧能达到更好的效果，目前这个研究方向逐渐向机器学习，深度学习方向靠拢，近两年也有些效果不错的工作。主要可应用于机器人，无人机，无人驾驶，智能拍照等场景。如地理信息系统，可以通过训练神经网络让机器输入卫星遥感影像，自动识别道路，河流，庄稼，建筑物等，并且对图像中每个像素进行标注。无人驾驶，语义分割也是无人车驾驶的核心算法技术，车载摄像头，或者激光雷达探查到图像后输入到神经网络中，后台计算机可以自动将图像分割归类，以避让行人和车辆等障碍。医疗影像分析，随着人工智能的崛起，将神经网络与医疗诊断结合也成为研究热点，智能医疗研究逐渐成熟。在智能医疗领域，语义分割主要应用有肿瘤图像分割，龋齿诊断等。

对于视频目标分割来说，根据分割的对象，该任务可分为：单目标分割(VOS)、多目标分割、目标精细分割，其中最受关注的大概是单目标分割任务，根据给定的输入的区别，分为无监督、半监督、交互式分割等任务。在测试阶段，无监督只给定一个原始视频，半监督则多给定第一帧的分割掩膜(mask)，交互式分割则允许在第一帧画上一些轮廓或者草图。视频目标分割算法的研究也围绕着解决这些变化和具体的应用展开。有两个度量分割准确率的主要标准：区域相似度(Region Similarity)、轮廓精确度(Contour Accuracy)，其中，区域相似度度量标注错误像素的数量，而轮廓精确度度量分割边界的准确率。

当前，无监督VOS的处理方式主要有下述几种：

(1)背景消除：早期视频分割方法主要是基于几何且局限于特定的运动背景。其思路是模拟每个像素的背景外观，并将快速变化的像素视为前景，图像和背景模型中的任何显著变化都代表一个移动的物体，利用连通分量算法估计与目标相对应的连通区域。基于混合高斯分布(GMM)背景/前景分割算法对视频帧上的任意坐标的像素值进行时间方向的统计，为每个坐标分配若干个高斯概率密度函数作为该位置的像素值概率分布模型,是十分经典的背景建模方法。

(2)点轨迹：为了利用视频中的运动信息，这些方法首先生成点轨迹，然后使用轨迹的匹配矩阵对轨迹进行聚类，最后利用聚类轨迹作为先验信息得到视频目标分割结果。典型思路是基于光流的方法，光流是一个密集的位移向量场，反映了微小时间间隔内由于运动形成的图像变化，可以确定图像上点的运动方向和运动速率，通常用于获取视频目标的时空运动信息。

(3)过分割：一些过分割方法基于颜色、亮度、光流或纹理相似性对像素进行分组，并生成时空分割图，绝大部分方法都是基于图来完成无监督视频目标分割。

(4)“类似物体”分割：主要思想是通过“类似物体”区域(如显著性目标和目标候选区域)的学习模型，为视频的每一帧生成一个前景目标假设。