[发明专利]一种虚拟视点的全景特写拼接系统及其方法

说明书

本发明公开了一种虚拟视点的全景特写拼接系统及其方法，所述系统包括全景相机和图像拼接模块；所述的全景相机为带有深度传感器的全景相机；全景相机的输出端与图像拼接模块连接；所述的图像拼接模块包括全景相机内外参数计算单元、映射矩阵计算单元、图像放大融合单元和图像空洞填补单元；所述方法包括相机内外参数计算步骤S1、映射矩阵计算步骤S2、图像放大融合步骤S3和图像空洞填补步骤S4。本发明提供了一种虚拟视点的全景特写拼接系统及其方法，有效的处理全景拼接中虚拟视点的位置、图像信息、单应矩阵、图像融合等问题，保证拼接之后的图像质量。

技术领域

本发明涉及一种虚拟视点的全景特写拼接系统及其方法。

背景技术

随着数码摄像机越来越普遍，越来越多的用户能够体验数码产品，自动图像数字处理技术也成为技术研究人员探索的热潮；红眼消除和颜色校正两个很流行的图像处理方法已经被纳入商业软件程序包，主要被摄影学家应用；另一个很普遍的应用就是图像拼接技术，即从有相同场景的多个有重叠部分的图像中产生一个高质量的全景图像。

从计算机的发明到现在，经过几十年的时间，信息技术已经从无到有，数字化信息已经渗透到人类生活密切相关的各个领域，人类正向高度信息化的社会迈进；长期以来，人们一直追求直观,简单而且有效的信息传递方式，这就促使了多媒体技术的高速发展，成为了信息技术中热点研究方向之一；据研究，人们仅有不到20％的信息是通过视觉以外的途径获得的，视觉信息的重要性不言而喻；图像是视觉信息中最重要的一类，其技术研究重点主要是使自然景物的表征更加逼真和清晰。

图像可以将表达的信息用最直白的形式展现出来，同时含有比文字更丰富的内容，因此它已经成为人们交流的主要工具，人们接触到的信息几乎都是以图像的形式呈现的；但是图像在放大，变换和特写以及3D投影时，会受到各种因素的干扰，从而使得图像在虚拟位置的图像的质量下降，图像细节模糊，不能达到高标准高质量的图像要求，不能根据用户设定得到局部的超高清图像，因此需要使用某种技术来改善图像放大融合质量，提高图像可视效果。

国内外对于虚拟视频的研究始于上世纪90年代，国际方面，比较有影响力的是日本名古屋大学的基于光线空间的自由视点电视(FTV Free Viewpoint Television)系统、斯坦福大学的Light Field系统、德国HHI研究所的基于模型的自由视点视频方案、三菱MERL实验室的面向存储和传输的交互式自由视点视频系统，欧洲的3DTV计划；此外，微软、卡内基梅隆大学等也在多视点系统实现上开展了广泛的工作。

国内的研究机构对多视点视频技术的研究也取得了一定的成就，清华大学较早地展开了自由视点视频技术的研究，主要包括在光场处理和交互式多视点视频上的研究；宁波大学提出了包括光线空间数据压缩和插值、多视点视频编码，多视点视频颜色校正、Wyner-ziv编码等方面的一系列算法。

视点绘制技术作为多视点视频技术中的关键技术，不断有新的算法提出；Mori等人提出了先由参考视点绘制出虚拟视点深度图，再反向映射的算法，该算法能够获得良好的主观质量和PSNR。