[发明专利]一种自适应加权立体匹配算法、立体显示采集装置及系统

说明书

技术领域

本发明涉及图像显示技术领域，尤其涉及一种自适应加权立体匹配算法、立体显示采集装置及系统。

背景技术

普通的二维视频图像无法使得用户从中获得深度信息，且观看者不能任意选择所处的位置与观看角度。相对于普通的二维视频，三维视频能够使用户自由选择观看的视点与视角，体验三维立体视觉感知，三维视频相关技术是近些年来的研究热点和难点。图1为裸视三维视频系统基本架构，三维视频系统指从三维视频数据采集、处理、编码、传输，到三维视图生成、显示的一个完整系统，涉及信号处理、视频压缩编码、网络通信、计算机图形学、计算机视觉等多个研究领域。图2为左图像与视差图像独立编码，图3左图像与视差图联合编码，图4传输层编码方案，图5裸视三维视频显示端方案设计。许多研究机构对三维视频系统及相关技术进行了深入研究，主要包括三维视频信息采集与处理，三维视频信息编码与传输，三维重建与显示等方面。

着裸视三维显示器的发展，尤其是以飞利浦公司开发的3D显示器为代表的裸视三维显示器的问世，以J.Congote，I.Barandiaran等人开发的裸视三维视频系统及I.Feldmann，W.Waizenegger等人开发的交互式三维视频会议系统为代表，国际上已有很多研究机构对基于裸视三维显示器的三维视频系统进行研究。此外，国内各高校与研究结构也对三维视频系统进行了研究，但大都集中在各模块关键技术的研究，对裸视三维视频系统的研究几乎是空白！在三维视频信息数据采集模块，通常使用不同空间排列方式的多摄像机阵列采集得到三维视频信息，在使用多摄像机阵列时需对各摄像机进行标定与同步操作。为实现裸视三维视频的显示，可通过增加摄像机的数量来获得多角度的三维视频信息，但摄像机数量的增多使得信息量增大，会大大降低数据处理的速度，增加编码及传输的数据量。针对此问题，采用立体匹配算法得到视差图，将视差图和参考图像一起表征三维信息，从而大大减少处理传输的数据量，改善裸视三维视频系统的运行时间。

视差图的获取采用立体匹配算法计算得到。立体匹配是指在立体图像对中确定空间同一景物点在不同成像平面中像点的对应关系的过程，其实质上可以归结为图像特征之间的相似性评价问题。双目立体视觉是基于视差原理，根据三角法原理进行三维信息的获取。

立体匹配算法根据采用优化方法的不同，可以分为局部的立体匹配算法和全局的立体匹配算法；根据匹配基元的不同，立体匹配算法可以分为基于区域的匹配算法、基于特征的匹配算法和基于相位的匹配算法；根据匹配生成视差图的不同，可以分为稀疏视差匹配算法和稠密的视差匹配算法。国内外的研究均是通过尽量建立能反映像素的真实视差值的能量函数进行估计视差值，采用不同的相似度度量函数以及使用不同的基元来进行匹配。

国际上主要是基于颜色分割进行全局立体匹配，在局部立体匹配方面，在聚合上采用了自适应的加权进行聚合，同时也采用多窗体、自适应支持窗体的匹配算法。国内主要是在基于特征的选择上，以及在匹配的相似度的度量上进行研究，同时针对遮挡问题、弱纹理问题也进行了讨论。其中以Jian sun为代表的微软研究院，在全局立体匹配算法和遮挡问题、弱纹理方面具有很深的研究。以国防科技大学文贡坚为代表的电子科学与工程技术学院ATR重点实验室，他们主要是采用新的特征、新的匹配准则进行立体匹配，同时针对大遮挡匹配问题进行了处理和研究。

基于固定窗的方法是最基本的立体匹配方法，该方法的核心思想是计算以待匹配像素为中心的矩形窗相似度，将相关性最高的那个点对作为最佳的匹配。选择窗口的大小为关键的问题，如果选择大的窗口，那么低纹理区域的匹配精确率会增加，但边缘处的视差就会模糊不清，如果选择小的窗口，那么低纹理区域的匹配精确率就会下降。为解决窗口大小选择的问题，可以采用各种优化策略进行处理，例如可变窗以及多重窗等。但基于固定窗的立体匹配方法，无论窗口如何选择，窗口内的权值都是相等的，这样导致所有的像素点的匹配窗口大小是相同的，在边缘区域会出现误匹配的几率很大。

Yoon等人从人类视觉心理学出发，提出的一种自适应加权立体匹配算法，根据像素之间的位置和颜色差异对窗口内原始像素代价赋以不同的加权，然后再加以聚合，很多研究表明该算法是所有局部立体匹配算法中匹配效果最好的，且最后得到的结果可以和全局优化的结果相比。但自适应加权算法的运算速度比较慢，复杂度较高，加权的保存需要极大的存储空间，这部分抵消了局部算法优越性。