[发明专利]基于围绕渐变拼缝区域平面扫描的视频拼接方法有效
申请号: | 201510224858.0 | 申请日: | 2015-05-05 |
公开(公告)号: | CN104794683A | 公开(公告)日: | 2015-07-22 |
发明(设计)人: | 刘煜;李靖;张政;张茂军;赖世铭 | 申请(专利权)人: | 中国人民解放军国防科学技术大学 |
主分类号: | G06T3/40 | 分类号: | G06T3/40 |
代理公司: | 北京中济纬天专利代理有限公司 11429 | 代理人: | 胡伟华 |
地址: | 410073 湖*** | 国省代码: | 湖南;43 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 围绕 渐变 区域 平面 扫描 视频 拼接 方法 | ||
技术领域:
本发明属于图像信息处理领域,涉及视频拼接方法,尤其涉及基于围绕渐变拼缝区域平面扫描的视频拼接方法。
背景技术
图像视频拼接是计算机视觉学科的一个重要研究方向,受到了广泛的关注和深入的研究。其中,图像拼接已经是一个较成熟的研究领域,目前已有一系列针对不同应用需求的理论和方法被各国学者提出,并取得了良好的实验效果。而视频拼接的问题规模和复杂度都远高于图像拼接,限于相关理论基础和硬件设备的处理能力,相关研究还处在起步阶段。
对于一组已完成配准的图像,传统的图像拼接方法首先在重叠区域选择一条最优拼缝,然后沿拼缝对图像进行融合完成不同图像之间的平滑过渡。但当源图像之间存在视差时,即由于各台相机的光心不完全重合造成的同一场景在不同摄像机拍摄中的成像差异,通过投影变换映射到同一观察平面的各路图像并不能完全重合,即存在结构偏差。为消除结构偏差,研究者们提出了包括平面扫描在内的一系列方法。平面扫面方法在寻找最优拼缝之前先通过多次假设被拍摄场景的深度并比较不同深度下图像的匹配程度,得到重叠区域局部的深度信息,再根据深度信息投影图像到观察平面,配合后续的拼缝选择和图像融合,完成带有视差情况下的图像拼接。
与图像拼接相比,视频拼接对算法运行速度的要求较高,且需要相保证相邻帧之间一致性。图像拼接中的平面扫描方法并不满足上述要求,因此不能直接应用于视频拼接。而且考虑到图像或视频帧融合时拼缝两侧的图像主要取自不同的源图像,只有靠近拼缝的区域才会同时用到两幅源图像的信息,因此求解整个重叠区域的深度信息是不必要的。在视频拼接中有效利用这一点,能够显著加快拼接速度。
发明内容
本发明针对视频拼接中多摄像机光心不重合造成的视差问题,提出了一种基于围绕渐变拼缝区域平面扫描的视频拼接方法,其能够在保持视频帧间一致性的前提下消除视差的影响,完成快速高质量的视频拼接。本发明所采用的策略是结合视频拼接中的渐变拼缝和平面扫描,将平面扫描的范围缩减到拼缝附近的窄带状区域,再将所得拼缝位置的偏移信息线性扩散到重叠区域的其它部分,据此对视频帧作变形并融合以完成当前帧的拼接。
本发明首先利用已有的摄像机标定信息矫正相邻的两幅视频帧,然后基于重叠区域的图像信息与前一帧的拼缝,得到当前帧的拼缝位置,再在围绕拼缝的窄带状区域运行平面扫描,最后根据平面扫描所得结果对图像进行形变并融合。
具体地,本发明采用的技术方案是:
一种基于围绕渐变拼缝区域平面扫描的视频拼接方法,包括以下步骤:
S1.沿基线方向矫正相邻的两幅视频帧,将两幅图像之间的二维偏移关系简化到水平方向;
S2.在S1中得到的矫正后图像的重叠区域运行基于图像差异和潜在匹配不确定性的渐变拼缝选择算法;
S3.以在S2中得到的渐变拼缝为中心取一定宽度的窄带状区域,在该区域运行平面扫描算法,得到拼缝位置的像素偏移;
S4.将S3中得到的拼缝位置的像素偏移线性扩散到重叠区域的其他部分,并根据整个重叠区域的偏移对图像进行形变。
S5.融合重叠区域的图像,并与非重叠区域的图像组合得到当前一组视频帧的拼接图像。
进一步地,所述步骤S1的具体方法包括:
对于两台已完成标定的摄像机,其内参数矩阵K1,K2,以及两摄像机之间的旋转矩阵R=[r1,r2,r3]和平移向量T已知,则被拍摄场景中的一点P在两相机坐标系中坐标XC1与XC2的关系为
XC1=RXC2+T
图像矫正需要将两相机坐标系变换为新的具有平行光轴的两个虚拟相机坐标系下,两虚拟相机坐标系的基向量在第一台摄像机坐标系下的表述均为:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民解放军国防科学技术大学,未经中国人民解放军国防科学技术大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510224858.0/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种吸震装置
- 下一篇:基于同一卫星平台的多相机图像镶嵌方法及装置