[发明专利]一种结构保持的宽基线视频拼接方法

摘要

本发明涉及一种结构保持的宽基线视频拼接方法，视频帧同步阶段，对输入的宽基线视频提取视频帧，加入缓冲队列并进行帧同步；视频帧配准阶段，针对同步的视频帧，首先采用点匹配、直线匹配和轮廓匹配相结合的三阶段策略进行特征匹配，然后采用结构保持的网格优化模型进行图像变形，综合考虑对准误差、颜色误差和显著性结构求取最优缝合线，生成全景图并初始化拼接模板；视频拼接阶段，结合拼接模板，从缓冲队列中提取同步帧进行逐帧拼接，得到由全景帧组成的全景视频。本发明利用传统全局单应变换或者局部相似变换的视频拼接方法更加有效，减少了投影畸变和透视畸变，获得更好拼接效果，应用于智能安防监控系统，扩大监控画面视野，提高监控效率。

主权项

一种结构保持的宽基线视频拼接方法，其特征在于：步骤如下：(1)视频帧同步阶段，将输入的多个宽基线视频分解为一系列的视频帧，并加入各自宽基线视频帧的缓冲队列，然后利用相机之间的时间差信息和各个宽基线视频的时间戳信息进行帧同步，得到同步后的多个宽基线视频；(2)视频帧配准阶段，对同步后的多个宽基线视频的第一帧视频图像调用图像拼接算法生成一个初始的拼接模板，所述图像拼接算法的步骤如下：(21)点匹配、直线匹配、轮廓匹配相结合的三阶段特征匹配：采用基于超像素分割的局部单应模型进行视频帧之间的SIFT特征点匹配，针对特征点匹配中点对数量低于200的低纹理视频帧，引入直线匹配和轮廓匹配，得到匹配的直线采样点和轮廓采样点，将各个阶段得到的点对集合的并集作为最终的匹配结果；(22)结构保持的网格优化：首先为所有待拼接视频帧添加初始网格，定义以网格顶点为自变量的目标函数，目标函数约束匹配点对变换到同一点；然后最小化目标函数，得到最优的网格配置；最后根据初始网格和最优网格的对应关系求取多个仿射矩阵进行图像变形；(23)无缝融合：针对图像变形后的图像对，计算重叠区域的对准误差和颜色差异，对准误差和颜色差异相加得到初始差异图，并将重叠区域的轮廓掩码作用于初始差异图得到最终差异图，在最终差异图上采用图割算法求取累积差异值最小的最优缝合线；(24)提取(22)中的仿射矩阵和(23)中的最优缝合线作为参数初始化拼接模板；(3)视频拼接阶段，每次取出各个宽基线视频的同步帧进行拼接，为加速拼接的效率，需要充分利用上一帧的拼接信息，若宽基线视频内容稳定时，采用已有的拼接模板；若宽基线视频内容变化时，重新进行步骤(2)生成新的拼接模板，最后将输出的全景图的宽基线视频帧序列合成一个新的全景视频。