[发明专利]一种道路场景视频图像序列的背景修复方法

说明书

技术领域

本发明属于图像处理、计算机视觉及模式识别技术领域，具体涉及一种道路场景视频图像序列的背景修复方法。

背景技术

基于视频图像序列的场景修复，在图像处理、计算机视觉及模式识别领域具有重要的应用，在一些实际应用，如全景图像生成问题，需要移除源图像中的前景物体，生成由单一背景图像拼接而成的场景图像；在基于图像渲染的场景模型建立问题中，需要将源图像中的前背景信息予以分离，分别进行建模。Wexler方法通过对视频临近帧可用部分图像块的时空采样来实现当前帧缺失区域的修补(参考Wexler的方法：Wexler Y,Shechtman E,Irani M.Space-time completion of video[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(2):463-476)。然而该方法主要适用于静态背景条件下的视频图像序列中前景去除与背景修复，而且实现复杂，将图像修复看作全局优化问题，提出新的算法来优化定义好的目标方程。Hsu方法在运动前景条件下生成背景视频帧的图像拼接(参考Hsu的方法:Hsu Y,Tsan YC.Mosaics of video sequences with moving objects[J].Signal Processing:Image Communication,2004,19(1):81-98)。然而该方法需要估计全局运动信息，基于特征的方法获得八个投影参数，计算较为复杂。

发明内容

为了解决上述现有技术存在的问题，本发明的目的在于提供一种道路场景视频图像序列的背景修复方法，针对运动背景条件下的视频图像序列，基于光流信息实现当前帧缺失前景区域像素到邻近帧背景像素的对应，有效实现道路场景视频图像序列中缺失运动前景区域的图像修复，方法简单有效。

为了实现上述发明目的，本发明采取的技术方案是：

一种道路场景视频图像序列的背景修复方法，首先计算当前帧到邻近帧的光流图，然后基于高斯过程回归计算缺失光流图区域中的散点，用于光流预测的初始化；经过光流预测初始化，再使用三层BP神经网络实现逐列光流预测；然后进行图像修复，在图像修复阶段，利用光流初始化和光流预测将当前帧缺失区域内像素对应到邻近帧背景区域，利用高斯混合模型实现图像修复；具体包括如下步骤：

步骤1：初始化阶段，基于高斯过程回归计算缺失光流图区域中的散点，包括如下步骤：

1)数据训练，训练数据集从光流图背景区域以半径R采样，定义为：

T=x1,...,xNy1,...,yN---(1)]]>

其中：x₁,...,x_N指N个二维光流图坐标，即横坐标和纵坐标，y₁,...,y_N指N个二维光流图坐标对应的光流值；

基于训练数据集，N×N的协方差矩阵K中每个元素定义为[K]_ij＝K(x_i,x_j)，其中：