[发明专利]一种基于块匹配视差估计的中间视图合成方法

说明书

技术领域

本发明涉及一种多目数字图像处理方法，特别涉及一种基于图像的虚拟视点绘制方法。

背景技术

视频处理、传输与显示技术经历了从黑白到彩色，从模拟到数字，从标清到高清等多次变革，而下一代变革的目标，则将是三维立体视频显示系统。目前已经得到普及的二维视频平面显示系统由于无法表达自然场景中物体的深度信息，使用户在观赏时缺乏立体感，观赏到的也与自然场景不一致，存在着丢失第三维信息造成的失真。因此，得到用户所要求视点视图的自由视点显示结构，成为二维向三维变革的重要基础。

为了使用户可以自主选择视点，视图采集系统中的摄像机的数量应尽可能多，但摄像机组能提供的视点信息是有限的，离散的，并且是固定的，无法满足用户切换视点的多变性，所以在客户端进行虚拟视点的绘制是非常必要的。本发明研究的就是一种新的虚拟视点绘制方法，通过对已有视点的分析，合成用户所要观察的视点。

虚拟视点绘制技术作为多媒体领域一项非常重要的新兴技术，已经为越来越多的科研单位和团体所重视，新的算法也相继提出，虚拟绘制问题的解决方法正在逐步构成体系。虚拟视点绘制的算法目前可大致分为两类，即基于模型的绘制(参见毕家瑜，张之江，董志华.多视点立体显示系统建模及分析[J]光学技术.2009.35(4).575-583.)和基于图像的绘制(参见安平，张倩，鞠芹，王贺，张兆杨.用于3DTV的图像绘制技术[J]电视技术.2010.34(01)：49-51.)。其中，基于图像的绘制方法由于具有真实感强，不需要复杂建模过程等优点，而优于基于模型的绘制方法，也因此基于图像的绘制方法得到了更广泛的应用和研究。

基于图像的绘制方法可以根据采用场景几何信息的比例的多少分为三类：完全不用几何信息的方法，如光场法(参见Masaki Kitahara，Hideaki Kimata，Shinya Shimizu，Kazuto Kamikura，Yoshiyuki Yashima.Progressive Coding of Surface Light Fields for Efficient Image Based Rendering[J].IEEE Transactions on Circuits and Systems for Video Technology.2007.17(11)：1549-1557.)、全景建模法(参见高辉，王炜，张茂军.一种多视点全景图像自动生成的新方法[J]系统仿真学报.2009.21(6)：1641-1646.)等；使用隐含集合信息的方法，如视图插值法(参见Naho Inamoto，Hideo Saito.Virtual Viewpoint Replay for a Soccer Match by View Interpolation From Multiple Cameras[C].IEEETransactions on Multimedia.2007.9(6)：1155-1166.)、深度图绘制法(参见Feng Yamei，Li Dongxiao，Luo Kai，Zhang Ming.Depth-Image Based View Synthesis for Three-dimensional Television[C].IEEE Conference on Industrial Electronics and Applications.2009：2428-2431.)等；使用明确几何信息的方法，如纹理映射法(参见Haldun M.Ozaktas·Levent Onural(Eds.).Three-Dimensional Television，Capture，Transmission，Display[M].Springer.2008.62-69.)等。

在诸多基于图像的绘制方法中，完全不用几何信息的方法虽然能够较快重建视点，但真实感较差，数据量较大；基于深度图的方法得到的虚拟视点视图效果较好，但深度图的获取本身就是一项难以攻克的任务；基于纹理映射的方法算法难度过大，而且不适用于真实场景。由此可见，目前的虚拟视点绘制领域中，尚未出现一种能够兼顾快速性、准确性和普遍适应性的绘制方法。

本发明使用更容易获取的视差信息代替深度图，采用双向视差与图像插值相结合的方案，能够较好的克服这两种算法单独使用出现的缺点，在满足运行时间较短的同时得到视觉效果令人满意的虚拟视点视图；并且可以一步合成可观赏的虚拟视图，而无需对初步合成的视图进行补偿和后处理，方法直接有效，运算效率高。

发明内容

本发明要解决的技术问题是：