[发明专利]一种基于光流的视频拼接方法

说明书

本发明公开了一种基于光流的视频拼接方法，包括：步骤S1：左右帧图像的读取及预处理；步骤S2：计算左右帧图像的对应公共区域，并对公共区域做密集光流估计；步骤S3：将公共区域的密集光流聚类成三类；步骤S4：对非公共区域进行光流的延伸估计，并将非基准帧按照光流投影到基准帧上构成初步全景图；步骤S5：初步全景图中遮蔽区域的检测与校正；步骤S6：回到步骤S1，读取下一对左右帧图像。本发明所述方法针对相机方向固定的同步监控视频，通过上述步骤能够准确地找到左右帧图像公共区域间的对应关系，得到效果良好的全景视频，很大程度地弱化了对运动物体造成的模糊和扭曲效果。

技术领域

本发明涉及视频拼接技术领域，具体地，涉及一种基于光流的、以优化公共区域内运动物体模糊和扭曲效果为目标的一种基于光流的视频拼接方法。

背景技术

随着科技的日益发展，人们对视频的要求越来越高，其中很重要的一方面则是视野范围。单个摄像机拍摄的视频视野范围过于狭窄，能够呈现出的内容偏少，满足不了人们的需求。所以人们只能调节焦距来获取更大范围的视野，但是焦距的调节会导致图片变得模糊、分辨率下降。后来随着微电子产业的发展，人们发明了能够获取更大视野的广角镜头，然而广角镜头一般都比较昂贵，很难普及，同时广角镜头拍摄的视频边缘处易畸变。所以视频拼接技术的出现显得极为需要。视频拼接技术是将多个同时拍摄的具有公共区域的视频拼接成一个视野更大的视频。

尤其对于安保方面来说，安保获得的视频监控画面是由多个摄像头拍摄构成，为了监控更加全面，一栋楼可能会多达几十个摄像头，太多零散分布的监控画面给安保人员查看监控带来很大的压力。所以寻找一个将多个具有公共区域的监控视频拼接成一个视频的方法及其重要。

现如今视频拼接技术发展很快，虽然能够基本上完成拼接，但是相比于图像拼接技术，视频拼接技术还有很多不足的地方。例如当公共区域含有运动物体时，视频拼接技术很容易导致运动物体出现模糊等问题。

2004年，Lowe D G在“Distinctive Image Features from Scale-InvariantKeypoints”提出了尺度不变特征变换(SIFT)技术。2007年，Lowe D G等人在《International Journal of Computer Vision》中发表了“Automatic Panoromic ImageStitching using Invariant Features”，此文提出了基于SIFT特征点的图像拼接技术，其主要思想是先提取出需要拼接的两张图的SIFT特征点，再对这些特征点进行匹配，留下匹配相似度大的特征点对，再利用这些特征点对算出两张图之间的变换矩阵H，接着将其中一张图根据变换矩阵H投影到另一张图并进行图像融合以后，得到最终拼接后的全景图，效果良好。此方法得到很多人效仿，一些学者将SIFT特征点换成SURF、Harris等其他特征点来进行匹配，从而得到全景图。随着图像方面拼接成果显著，人们渐渐将此方法运用到视频上，对于固定的多个摄像头来说，由于视频间的变换矩阵H都保持不变，所以只需要最开始算出变换矩阵H，在后续的视频帧中一直沿用此变换矩阵H则可，这种方法很大程度的节省了时间，拼接速度较快，但是没有考虑到视频中出现的运动物体，会影响两帧之间最优的变换矩阵，所以常常会造成运动物体周边严重模糊等效果；另一种视频拼接技术会考虑到每一帧都计算变换矩阵，从而能够将运动物体考虑进去，但是有时相邻两帧变换矩阵改变太大会造成帧间跳动，影响视觉效果。

2015年，Jiang W等人针对于优化运动物体的效果，提出了空域-时域的局部映射方法，同时融合部分考虑到前后帧的信息提出了3D缝合线融合，此方法能够有效地优化运动物体拼接效果，但是对于左右帧之间光照差异太大、运动物体上能够提取的特征点较少等情况效果很差。

发明内容

针对现有技术中存在的上述缺陷，本发明的目的是提供一种基于光流的视频拼接方法，能够准确地匹配左右帧的公共区域部分，弱化公共区域内运动物体的模糊和扭曲程度。

本发明是通过以下技术方案实现的。