[发明专利]一种基于双帧编码解码模型的前景提取方法

说明书

本发明公开了一种基于双帧编码解码模型的前景提取方法，属于计算机视觉领域，训练双帧编码解码模型，训练好后对双帧图像进行预处理，特征提取，特征图融合，卷积，上采样，直至得到与输入图像同等尺寸的最终的融合特征图；对最终的融合特征图进行softmax，得到相应的前景预测概率，经过二值化，提取出前景区域。本方法可以在产生运动信息的同时，产生相应的图像特征，并最终实现对前景目标的预测。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于双帧编码解码模型的前景提取方法。

背景技术

随着计算机的普及以及摄像机的普及，越来越多的视频录像需要进行自动分析。采用人工分析的方法不仅要消耗大量的人力成本，还难以做到可靠与实时。采用计算机对视频进行处理是目前视频处理的主要发展方向。而前景提取是计算机处理视频的基本技术之一，能够将视频研究分析的重点集中到少量的前景目标区域，对视频图像中的重要区域进行感知，可以用来帮助用户浏览视频中的重要信息，提高用户分析视频录像的效率。

常见的用于前景提取的算法为帧差法，即通过相邻两帧图像之间像素值的差异来判断目标是否为前景。这样二值化的方法难以应对光照变化、视频抖动、前景目标缓慢移动等难题，虽然之后相应的一些改进方法，如高斯模型等，采用统计的方法对前景与背景进行建模，这在一定程度上缓解了以上难题，但基于简单的像素特征或者相应人工设计的一些局部特征，无法对复杂的现实世界进行很好的建模。因此，高斯模型等方法面对背景变化较大的视频，无法获得高精度的前景提取结果。

深度学习技术的出现，使得对复杂背景进行精确建模成为可能。深度学习可以通过多层网络，利用已经标注的数据集，训练得到对数据进行精确预测的模型。深度学习相比传统机器学习，需要更大的计算量，同时也具备更强的数据学习能力。结合GPU强大的计算能力，深度学习在图像处理，音频处理，自然语言处理上取得了重大突破。

常见的深度神经网络有前馈神经网络FFNN(Feed-Forward Neural Networks)，长短期记忆网络LSTM(Long Short-Term Memory)，生成对抗网络GAN(GenerativeAdversarial Networks)，自动编码解码器AED(Auto-Encoders-Decoder)，卷积神经网络CNN(Convolutional Neural Networks)，循环神经网络RNN(Recurrent NeuralNetworks)。以上网络相互之间可能存在包含或者交叉的关系。如长短期记忆网络LSTM是循环神经网络RNN的一种常见结构，卷积神经网络CNN可以用来搭建自动编码解码器AED。其中，卷积神经网络由于其良好的局部特征提取能力以及易于训练的特点，常用于图像数据的处理，如图像分割，目标检测以及图像分割。

近来年，涌现的图像分割网络代表有FCN(Full Convolutional Network)，U-Net及DeepLab系列。其主要特点在图像分割网络的基础上，采用网络进行上采样进行分辨率恢复，从而实现对图像的逐像素分类。这些网络通过学习图像中的语义特征，如颜色，纹理，轮廓等，实现对图像的分割。对于前景提取，仅仅学习目标的语言特征是不够的，还需要学习目标的动态特征。

发明内容

本发明的目的在于提供一种基于双帧编码解码模型的前景提取方法，由于编码解码模型在图像分割领域取得了良好的结果，但难以对动态的信息进行建模。直接结合光流预测无法实现基本图像特征的共享，从而会导致模型运行速度的降低。而直接采用双帧方法，并对实际结果进行预测，可以在产生运动信息的同时，产生相应的图像特征，并最终实现对前景目标的预测。

为实现上述发明目的，本发明采用如下的技术方案：

一种基于双帧编码解码模型的前景提取方法，将两帧图像输入到已训练好的双帧编码解码模型中进行处理，处理的步骤包括：

1)对两帧图像进行预处理，包括噪声去除和归一化；