[发明专利]一种基于贝叶斯记忆的层次级联视频目标分割方法

说明书

本发明公开了一种基于贝叶斯记忆的层次级联视频目标分割方法。本发明方法首先对视频数据做帧采样并用残差卷积网络提取特征；然后分别构建层次级联网络、基于贝叶斯模型的目标记忆模块、掩膜恢复网络，并分别得到对应的层次级联特征、预测粗糙掩膜、预测精细掩膜；接着利用交叉熵损失函数对模型进行迭代优化，获得最终的目标分割网络，并将新视频序列及首帧掩膜输入该网络得到目标分割结果。本发明方法不仅利用不同层次的特征信息有效识别不同尺寸物体，还能够捕捉视频中前景目标在时序上的变化并充分考虑前景目标在运动过程中的短期相关和长期依赖关系，并通过贝叶斯模型指导精细掩膜的生成，提升了视频目标分割的准确度。

技术领域

本发明属于视频处理技术领域，尤其是视频处理中的分割技术领域，涉及一种基于贝叶 斯记忆的层次级联视频目标分割方法。

背景技术

在互联网+和大数据时代，人们拥有便捷的视频采集设备，使得视频数据呈现出以指数级 增长的趋势，对视频目标做编辑修改的需求成倍增加，使得视频目标分割成为越来越多研究 人员关注的研究方向。视频目标分割在电影制作、视频会议、动画创作等多个领域有着广阔 的应用前景。

在互联网+和大数据时代，人们拥有便捷的视频采集设备，使得视频数据呈现指数级增长 的趋势，对视频目标做编辑修改的需求成倍增加，使得视频目标分割成为越来越多研究人员 关注的热点领域。视频目标分割在电影制作、视频会议、动画创作等领域有着广阔的应用前 景。

视频目标分割针对视频的每一帧进行目标类别的像素级的标注，相比图像分割，可能面 临目标物体的位置、形状、亮度等发生变化的问题。早期视频目标分割方法主要依靠在线学 习技术，在测试时根据给出的第一帧的像素级标注(掩膜)对通过静态图像预训练的分割模 型进行微调；或通过在线自适应机制扩展利用来自实例分割网络的语义信息；或与实例分割、 光流、细化、再识别等技术相结合。

视频目标分割方法主要考虑三种场景：1)半监督视频目标分割给出了视频首帧的掩膜， 从而指出了待分割的前景目标；2)无监督视频目标分割不带有任何已知的掩膜，对前景目标 的识别完全由模型自主进行；3)交互式的视频目标分割允许用户实时地对分割结果进行调整 和修正，从而帮助模型取得更好的效果。目前较多的方法主要针对第一类的半监督视频目标 分割场景，本发明中提出的方法亦适用于该场景。

现有的方法通常使用深度神经网络，主要有两种方法：1)基于匹配的方法，首先计算视 频中模板帧与当前帧特征的像素级匹配，通过两帧中各个像素点之间的相关性进行分割；2) 基于传播的方法，借助前一帧来获取更好的视频目标分割性能，即结合前一帧的预测分割掩 膜作为输入来处理视频目标分割，充分考虑了视频帧前后的关联性。

上述方法的不足点主要表现在两方面：1)基于匹配的方法虽然考虑了视频目标的相似性， 但缺乏时间维度上的信息；随着物体的不断运动，仍然可能导致失配的问题；此外，由于一 个视频中可能存在多个同类别物体，这会增加匹配方法对分割目标准确定位的难度；2)基于 传播的方法虽然考虑了视频目标在时序上的相关性，但也导致了错误信息的积累，因此很难 应对物体快速运动或从画面中暂时消失的情况。上述这些方法在处理视频目标分割任务时， 不能很好满足实际视频目标分割的需求。为了解决这些问题，迫切需要一种既能捕捉物体大 小形状变化，又能捕捉物体运动的方法，以提升目标分割精度。

发明内容

本发明的目的就是针对现有技术的不足，提出一种基于贝叶斯记忆的层次级联视频目标 分割方法，既能考虑到运动物体在时序上的关联，又能识别不同大小尺寸物体，从而准确地 对视频中的目标进行分割。

本发明方法在给出视频数据集合以及像素级标注(掩膜)后，依次进行如下操作：

步骤(1)对视频数据进行帧采样，使用残差卷积网络作为特征提取网络，输入视频帧，输 出对应的残差特征集合；

步骤(2)构建层次级联网络，输入视频帧对应的残差特征集合，输出对应的层次级联特征 集合；