[发明专利]基于光场成像的视频稳像方法有效
申请号: | 201811560390.2 | 申请日: | 2018-12-20 |
公开(公告)号: | CN109819158B | 公开(公告)日: | 2021-05-18 |
发明(设计)人: | 周果清;刘贝贝;肖照林;王庆 | 申请(专利权)人: | 西北工业大学 |
主分类号: | H04N5/232 | 分类号: | H04N5/232 |
代理公司: | 西北工业大学专利中心 61204 | 代理人: | 顾潮琪 |
地址: | 710072 *** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 成像 视频 方法 | ||
本发明提供了一种基于光场成像的视频稳像方法,首先获得抖动视频数据,重建相机3D结构,包括相机运动轨迹和场景3D点集合;然后平滑相机运动轨迹,结合平滑后的相机运动轨迹和场景3D点集生成稳定视频。本发明在获取的抖动光场视频的基础上,利用匹配的光线集合重建相机3D结构,包括相机运动轨迹和场景3D点集,不必借助复杂耗时的SFM算法或额外的硬件设备,实现快速准确的视频稳像。
技术领域
本发明涉及一种视频稳像方法。
背景技术
光场成像理论是计算成像领域的研究热点,也是国内外学界关注的焦点之一。光场图像记录了空间中光线的空间和角度信息,加之光场成像系统具有多视点的特性,成像结果中隐含了丰富的深度线索,因此研究基于光场成像的视频稳像算法可为传统的稳像算法提供新的思路。
根据运动模型,现有的视频稳像技术分为2D稳像算法、3D稳像算法和2.5D稳像算法。
2D稳像方法首先估计相邻视频帧之间的二维变换关系,通过连接图像帧之间的变换关系在2D空间内估计摄像机运动路径,然后通过平滑2D摄像机路径实现稳定视频的生成。Grundmann等通过估计仿射变换或者相邻帧之间的单应性,进而对相邻帧变化进行平滑处理以降低相机高频抖动。为了抑制相机低频抖动,Chen等提出用多项式曲线拟合相机的运动轨迹。Gleicher等将相机的运动轨迹进行分段处理,通过对各段轨迹进行独立的平滑计算获得了更好的稳像效果。Grundmann等人应用摄像规则,通过将相机运动轨迹分解为不变路径、匀速路径和匀加速路径的组合来实现运动轨迹的估计。Liu等采用多路径模型,将视频进行分块,对多条路径进行优化。Zhang等通过设置黎曼度量,将优化的平滑路径投射为变换空间中的李群上的测地线。Liu等从视频编码角度考虑,从中提取出运动矢量来构建相机运动。2D类方法只需计算相邻帧之间的特征匹配,因此鲁棒性较高,运算速度较快。但是,基于特征点匹配的2D方法需要假设场景中的物体位于一个平面内或者相机只进行单纯的旋转运动,因此其应用具有较大的局限性。
3D稳像方法需要估计完备的场景三维结构,即需要以准确的摄像机3D姿态和场景中点云深度为先验才能实现稳像。场景三维结构一般可通过SFM算法计算获得或者采用深度传感器直接获取。Buehler等提出一种基于场景摄影重构的三维视频稳像方法,而场景的摄影重构通过对未标定的摄像机数据进行SFM计算获得。Smith等假设场景的欧氏重构已经获得,通过最小化相机在旋转、平移和变焦的加速度来获取平滑的相机运动轨迹,最终实现视频稳像。Liu等引入内容保护规整方法(Content-Preserving Warps),在合成新视点图像帧的基础上实现了基于完整三维结构的视频稳像方法。Liu等利用深度传感器(Kinect)记录场景深度信息,然而深度传感器的可视范围有限,不适合室外场景拍摄。3D稳像可以处理具有复杂运的视频。但是SFM的计算复杂度高,且要求视频中包含足够的运动信息用来重建三维结构。当视频中缺少视差信息,或者有镜头的缩放等情况时,SFM很难得到有效的三维结构。而深度传感器一般只能获得不完整的深度图,这使得摄像机3D姿态的计算及后期渲染工作都有很大的困难。
2.5D稳像方法是介于2D稳像和3D稳像之间的一种折衷方法。2.5D方法在2D帧间关系中嵌入3D信息,采用对极几何与特征跟踪技术将相机运动表达为轨迹。Goldstein等利用对极变换方法,在2.5D框架下实现了视频稳像,在一定程度上避免脆弱的3D重建对稳像的影响。Wang等将每个轨迹表示为贝塞尔曲线,采用时空最但是优化算法实现了平滑。Lee等引入特征修剪技术来选择鲁棒的特征轨迹,并在此基础上实现对运动平滑。Liu等首先从超过50帧的特征轨迹中抽取满足要求的帧构成轨迹子空间,然后通过平滑子空间的基本轨迹实现整个视频的稳像。2.5D方法将3D重构降维成一个长特征轨迹,但是可以获得和完整3D重构方法相当的结果。但是在真实的场景中,该方用性仍受限于运动模糊和长特征轨迹(超过30帧)的获取。当构造的特征迹短于30帧时,2.5D方法无法获得满意的结果。
发明内容
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西北工业大学,未经西北工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811560390.2/2.html,转载请声明来源钻瓜专利网。
- 上一篇:全景摄像机及其控制方法
- 下一篇:一种基于声音追踪的图像显示方法以及系统