[发明专利]一种结构保持的宽基线视频拼接方法

权利要求书

1.一种结构保持的宽基线视频拼接方法，其特征在于：步骤如下：

(1)视频帧同步阶段，将输入的多个宽基线视频分解为一系列的视频帧，并加入各自宽基线视频帧的缓冲队列，然后利用相机之间的时间差信息和各个宽基线视频的时间戳信息进行帧同步，得到同步后的多个宽基线视频；

(2)视频帧配准阶段，对同步后的多个宽基线视频的第一帧视频图像调用图像拼接算法生成一个初始的拼接模板，所述图像拼接算法的步骤如下：

(21)点匹配、直线匹配、轮廓匹配相结合的三阶段特征匹配：采用基于超像素分割的局部单应模型进行视频帧之间的SIFT特征点匹配，针对特征点匹配中点对数量低于200的低纹理视频帧，引入直线匹配和轮廓匹配，得到匹配的直线采样点和轮廓采样点，将各个阶段得到的点对集合的并集作为最终的匹配结果；

(22)结构保持的网格优化：首先为所有待拼接视频帧添加初始网格，定义以网格顶点为自变量的目标函数，目标函数约束匹配点对变换到同一点；然后最小化目标函数，得到最优的网格配置；最后根据初始网格和最优网格的对应关系求取多个仿射矩阵进行图像变形；

(23)无缝融合：针对图像变形后的图像对，计算重叠区域的对准误差和颜色差异，对准误差和颜色差异相加得到初始差异图，并将重叠区域的轮廓掩码作用于初始差异图得到最终差异图，在最终差异图上采用图割算法求取累积差异值最小的最优缝合线；

(24)提取(22)中的仿射矩阵和(23)中的最优缝合线作为参数初始化拼接模板；

(3)视频拼接阶段，每次取出各个宽基线视频的同步帧进行拼接，为加速拼接的效率，需要充分利用上一帧的拼接信息，若宽基线视频内容稳定时，采用已有的拼接模板；若宽基线视频内容变化时，重新进行步骤(2)生成新的拼接模板，最后将输出的全景图的宽基线视频帧序列合成一个新的全景视频。

2.根据权利要求1所述的一种结构保持的宽基线视频拼接方法，其特征在于：所述步骤(21)的具体过程如下：

(211)对各个视频图像进行SIFT特征点匹配，得到匹配图像对；对任一图像对采用SLIC算法进行超像素分割，以超像素为单位对其中的的特征点集合采用DLT算法计算单应矩阵和残差，若残差大于5个像素，则认为该特征点对是内点，得到所有图像对之间的内点集合；

(212)若任一图像对之间的内点数量小于200，则引入直线匹配和轮廓匹配，得到匹配的直线采样点和轮廓采样点；

(213)将(211)中的内点集合和(212)中的采样点集合一起作为匹配结果，得到最终的匹配点对集合。

3.根据权利要求1所述的一种结构保持的宽基线视频拼接方法，其特征在于：所述步骤(22)的具体过程如下：

(221)为所有待拼接视频帧添加初始网格；

(222)定义以将网格顶点集合为自变量的目标函数，目标函数包括以下五个约束项：约束匹配点对变换到相同位置的对准约束项、约束网格相似变换的正则约束项、约束图像尺度保持的尺度约束项、约束直线保持的直线约束项和约束轮廓保持的轮廓约束项；

(223)采用共轭梯度法最小化目标函数，得到最优网格配置；

(224)根据初始网格和最优网格的顶点对应关系求取多个仿射矩阵进行图像变形。

4.根据权利要求1所述的一种结构保持的宽基线视频拼接方法，其特征在于：所述步骤(23)的具体过程如下：

(231)对变形后的图像对，计算出重叠区域的位置掩码；

(232)计算所有匹配点对的对准误差，按照距离的高斯系数加权到重叠区域的每个像素上，得到重叠区域的对准误差，计算重叠区域每个像素的欧氏距离，得到重叠区域的颜色差异，对准误差和颜色差异相加得到重叠区域的初始差异图；

(233)计算重叠区域的轮廓掩码，将轮廓掩码作用于步骤(232)得到的初始差异图，得到最终差异图；

(234)在步骤(233)得到的最终差异图上采用图割算法求取累计差异值最小的最优缝合线。

5.根据权利要求1所述的一种结构保持的宽基线视频拼接方法，其特征在于：所述步骤(3)的具体过程如下：

(31)提取下一帧同步的视频图像；

(32)统计视频图像颜色直方图，计算与上一帧视频图像颜色直方图的像素标准差，若标准差大于20，则进行步骤(2)重新生成拼接模板，否则直接沿用之前的拼接模板；

(33)调用拼接模板生成全景帧；

(34)将所有全景帧合成一个全景视频。