[发明专利]一种无有效重叠变结构的定点定向视频实时拼接方法

说明书

技术领域

本发明涉实时视频图像拼接技术领域，更具体涉及一种无有效重叠变结构的定点定向视频实时拼接方法。

背景技术

近年来随着视频拼接技术的快速发展，其在建立大视角的高分辨率图像领域、虚拟现实领域、医学图像领域、遥感技术以及军事领域中均有广泛的应用。视频拼接技术主要包含图像拼接技术和视频实时合成技术。其一，图像拼接技术是实现视频拼接技术的核心，主要包括图像配准和图像融合两个关键环节：图像配准是实现图像拼接的基础，其目标是对在不同摄像位置和角度下的多幅图像进行匹配；图像融合则是通过消除由于几何校正、动态的场景或光照变化引起的相邻图像间的强度或颜色不连续现象，合成高质量的图像。其二，视频实时合成技术则是通过采用FPGA、英特尔的IPP、英伟达的CUDA等平行计算架构，提高图像拼接算法的执行效率来实现的。

从图像采集的角度来看，大致可以分为四类。1)单相机固定支点，镜头旋转对同一场景进行图像采集；2)单相机固定在一个滑轨上平行移动对同一场景进行图像采集；3)多相机在不同视向角，不同方向对同一场景进行图像采集，图像间具有可用与图像拼接的有效重叠区域；4)多相机在不同视向角，不同方向对同一场景进行图像采集，图像间无能用于图像拼接的有效重叠区域，甚至图像间有较小的间隙和漏洞。根据本发明研究的实际问题，主要关注第四类情况，即利用多路摄像头定点定向对同一场景进行视频采集和拼接。

从图像拼接的核心技术图像配准角度来看，目前图像配准技术有两种，即相位相关度法和几何特征法。相位相关度法具有场景无关性,能够将纯粹二维平移的图像精确地对齐。但相位相关度法只适合解决存在纯平移或旋转的图像配准问题，在仿射和透视变换模型中，该方法就无法配准图像，而在实际过程中不可能做到相机位置与成像平面的绝对平行，故其实际使用价值低。几何特征法是通过基于图像中的低级几何特征，例如边模型、角模型、顶点模型等，对图像进行拼接的方法。但基于几何特征的图像配准方法的前提是两图像必须要有一定量的重叠区域，并且匹配的图像在时间上必须具有连贯的特征，对于多相机在不同视角，不同方向对同一场景采集的无重叠区域的图像拼接无能无力。

从图像融合的角度来看，其目的是从图像颜色亮度和结构上消除图像间的拼接缝。图像融合的方法很多，对于图像颜色和亮度的融合算法，简单的有光强加权平均和加权平均融合，复杂的有图像Voronoi权重法和高斯样条插值法。其核心思想是先对图像进行分割，利用重叠区域作为匹配的标准，再通过图像校正、颜色变换和像素插值等手段来融合图像的拼接缝。而对于图像结构上的过度差异，一般都是采用简单的羽化的方法，根据欧氏距离对权重进行平均，再利用滤波技术消除由于羽化造成的图像模糊现象和拼接视频中的鬼影现象。显然，对于多相机在不同视角，不同方向对同一场景采集的无重叠区域的图像拼接缝的融合现有方法无法处理，并且对于实时的视频流融合来说，现有技术也无法满足实时性的要求。

专利公开号CN103501415A发明专利是一种基于重叠部分结构变形的视频实时拼接方法，其工作原理是首先计算两幅图像各自的拼接缝，然后在两条拼接缝上进行一维特征点的提取与匹配，将匹配的特征点移动到重合位置并记录位移量，在设定的变形扩散影响范围内进行结构形变的扩散，最后计算结构变形后的梯度图，利用梯度域上的融合方法完成图像融合得到最终的拼接图像。为了满足视频拼接的实时性的要求，专利中将图像拼接算法在FPGA上实现，从而达到快速高效的视频拼接效果。显然此专利采用的方法无法对多相机在不同视角，不同方向对同一场景采集的无重叠区域的图像进行拼接处理，无法满足本发明研究的实际问题的实际需求。

专利公开号CN101593350A发明专利是一种深度自适应视频拼接的方法、装置和系统。其视频拼接系统包括摄像机阵列、校准装置、视频拼接装置以及像素插值器和混合器。首先，摄像机阵列生成多个源视频；然后，校准装置执行对极校准和摄像机位置校准，确定多个源视频中每一空间相邻图像对的接缝区域，并生成像素索引表；再次，视频拼接装置利用平均偏移值形成像素索引表的补偿项更新像素索引表；最后，像素插值器和混合器利用更新后的像素索引表结合多源视频生成全景视频。显然，此专利希望通过简化图像拼接算法，在拼接质量和拼接效率上寻求一个平衡点，从而实现对视频流的拼接，但随着采集视频的多样性和复杂性，单一串行的图形拼接算法根本无法满足数据量大，计算复杂的视频流拼接的实时性要求，实用性差。

发明内容