[发明专利]视交叉仿真的视频前景分割方法及装置

说明书

本发明涉及视频处理技术领域，特别涉及一种视交叉仿真的视频前景分割方法及装置。一种视交叉仿真的视频前景分割方法，包括如下步骤：S1，构建编码网络，两条收缩路径模拟人眼的双目视神经功能，从两个相似帧中进行信息感知和特征提取；S2，构建融合网络，对两条收缩路径中学习到的信息在本网络中进行融合；S3，构建解码器网络，解码器网络包括两条独立的路径，在相同配置下，模拟两个人大脑的高级语义分析功能，同时执行检测、定位和分类。通过融合网络将编码网络和解码网络（分别具有两个分支）组合在一起，形成X型结构，能够同时感知到两幅相似的图像，并从中提取特征，然后融合信息。

技术领域

本发明涉及视频处理技术领域，特别涉及一种视交叉仿真的视频前景分割方法及装置。

背景技术

前景分割又称背景减除，是视频处理中的一项关键任务.它是交通监测、异常检测和行为识别等许多更高级应用的基础。在给定一个场景S的情况下，前景分割算法通常是通过建立一个S的表示，称为背景模型(BM)，然后通过该模型对每个输入帧进行变化区域(即前景)进行检测。多年来，人们提出了各种方法来构建合适的BM。统计建模背景是一种常用的分割前景对象的方法。一些典型的算法，如GMM、KDE和PBAS假设像素间的相互独立，并对每个像素随时间的变化进行建模。另一种流行的策略，如RPCA、和RNMF使用降维思想来达到鲁棒的分割效果。然而，这些传统的方法缺乏提取高级特征以表示每个像素，来进行语义预测的能力。它们难以同时应对诸如动态背景、光照变化、重阴影、伪装和相机运动等诸多挑战。

近年来，卷积神经网络(CNNs)已被证明是一个强大的特征提取器，能够从数据中学习有用的特征表示。特别是基于迁移学习的全卷积网络在像素级分类任务中表现出了较好的优异性能。因此，基于深度学习的背景模型(DBMs)已经成为人们关注的焦点，并大大超过了传统的方法。一般来说，现有的DBMs可以分为以下两类:图像块级的模型和图像级的模型。图像块级的模型将图像块提供给CNN，以预测这些图像块中心像素的前景概率。这些模型简单、规模较小，但相邻像素之间存在较大的重叠，这将导致计算效率低和“过拟合”。此外，图像块的固定尺寸可能会导致高级上下文信息丢失，特别是当图像中物体比块的尺寸大得多时。图像级模型通过使用整幅图像来预测前景概率图来解决这些问题。一些图像级方法将视频序列分割视为单帧图像分割。这些工作忽略了视频序列的相关性，但取得了显著的结果。一些方法使用一个目标帧及其参考帧(前几帧)作为输入来一次生成一个前景预测图。虽然这些DBMs利用了时序信息，但它们的精度仍然不能超过一些高性能的单帧图像分割方法，例如FgSegNet_v2。

发明内容

本发明的目的是通过有效地利用视频时序特性，可以进一步提高分割精度。基于该目的，本发明采用的技术方案如下：

一种视交叉仿真的视频前景分割方法，包括如下步骤：S1，构建编码网络，两条收缩路径模拟人眼的双目视神经功能，从两个相似帧中进行信息感知和特征提取；S2，构建融合网络，对两条收缩路径中学习到的信息在本网络中进行融合；S3，构建解码器网络，解码器网络包括两条独立的路径，在相同配置下，模拟两个人大脑的高级语义分析功能，同时执行检测、定位和分类。们注意到了人类视觉系统中的X型视交叉[20]，[21]。(图1).它允许大脑的每一半接收来自双眼的视觉信号，从而产生双目视觉，有助于同时感知、融合和微弱的物体检测[22]。基于此，我们将MIMO结构实例化为X型网络，称为X-Net.更具体地说，它通过融合网络将编码网络和解码网络(分别具有两个分支)组合在一起，形成X型结构(图2).该结构不仅模拟了人类双目视觉中视交叉的结构，而且还模拟了其的机理。X-Net能够同时感知到两幅相似的图像，并从中提取特征，然后融合信息。此外，X-Net中解码网络的每个分支都可以获取两幅输入图像的信息，如同人类双目视觉机制。

进一步地，所述步骤S1中，编码器网络为孪生网。

进一步地，所述步骤S1中，采用多尺度输入输入信息。