[发明专利]一种立体视频实时深度估计系统硬件实现方法

说明书

技术领域

本发明涉及一种立体视频的深度估计技术，尤其是一种立体视频实时深度估计系统硬件实现方法。

背景技术

三维视频发展迅速，应用需求广泛，例如3D电视、电影还有如展览、勘察、医疗、游戏等。三维视频在二维视频基础上，增加了深度信息的输出，给人以独特的立体感、景深感，带给人们很强的视觉冲击力。深度估计系统是3DTV系统的一项关键技术，通过深度估计得到深度图增加了合成立体视的灵活性，降低了视频系统发送端的数据量。现有的深度估计方法有的存在分辨率低，遮挡空洞较多的问题，或者算法复杂，耗时长等问题。现在实现实时深度估计并保证一定的准确性成为三维视频应用的紧急需求。

深度估计是获得三维场景中的深度信息，深度图与所采集视频的一个视点图像相对应，得到该视点图像每个象素对应第三维信息,即景物相对于摄像机的距离。在立体显示端虚拟视点绘制技术DIBR（Depth Image-Basd）以深度图作为基础，利用深度信息和不同视点间的位置关系,得到立体视频显示所需要的其它视点的图像。现有的深度估计方法主要可以分为基于光线的主动方式和基于图像的被动方式：

（1）、基于光线的主动方式的深度估计：该方法采用TOF深度相机（如MESA Imaging的 SR4000）获取环境的深度图，通过光线发出和返回的时间差，利用光线捕捉器件实现环境物体测距，该方法可实时得到深度信息，缺点是深度图分辨率比较小（如QCIF：176(h)x144(v)），以及反射率小的物体比如黑色物体，很难在TOF相机中得到深度信息，会产生大的深度图空洞。关键的是彩色相机与深度相机尚未融合，需要额外的图像校正对齐等处理，增加其实时应用的难度，因此在三维视频系统应用中，深度相机的发展尚未达到实际应用的要求。

（2）、基于图像的被动方式的深度估计：该方法基于图像视差原理进行场景视差估计，估计过程一般包括视频采集后的图像预处理，逐点的像素匹配，深度图的后处理等。目前该方法分为软件实现和硬件实现两种方法，a）、软件实现方法，比如MPEG组织提出的深度估计参考软件DERS（Depth Estimation Reference Software），优点是可以得到准确性较高的深度图，缺点是耗时较长、算法复杂，要得到一帧高清（1920x1080）深度图需要耗时10分钟以上；b）、硬件实现方法，是在硬件器件、设备以及微电子技术发展的基础上发展起来的，比如图形处理卡中GPU（Graphic Processing Unit）技术的发展， FPGA（Field Programmable Gate Array），ASIC（Application Specific Integrated Circuit）等芯片技术的发展，其逻辑单元的规模越来越大，性能越来越强，这些都为基于硬件的深度估计设计打下基础。比如早期的Woodfill和Herzen等人从采用多片FPGA芯片到采用单片芯片FPGA芯片和嵌入式系统等完成立体视频系统；还有如S. Hadjitheophanous等人采用改进的Rank算法的基于FPGA立体视频系统，大部分采用的方法是在简化的逐点匹配基础上进行深度的估计，能够达到实时要求，并可以达到比较高的运行速度比如几百帧每秒的速度，但是其都面临匹配算法单一、匹配准确性不高、输入视频和得到的深度图的分辨率比较低等问题。   

发明内容

本发明的目的是针对现有技术中存在的不足，提供一种立体视频实时深度估计系统硬件实现方法，该方法通过基于FPGA的系统设计，采用融合匹配算法，能提高实时深度估计准确性，支持高清分辨率视频的实时处理，满足三维高清视频的需求。

本发明的目的是这样实现的：一种立体视频实时深度估计系统硬件实现方法，所述硬件实现方法包括输入接口模块IN、Census变换模块CT、匹配代价计算模块MC、匹配代价累积模块CA、视差生成模块DG、视差后处理模块DP、视差可视化模块DV和系统控制模块SC，其特征在于：

输入接口模块IN，负责接收左右双视点输入的RGB或YUV格式的视频信号，执行彩色信号的灰度转换，对于输入的RGB信号进行实时转换，得到像素点的灰度信号，对YUV信号进行Y信号提取；将左右两路视频的灰度信号输出给Census变换模块CT；

Census变换模块CT，负责将输入接口模块IN输出的左、右两路视频的灰度信号进行Census转换；

匹配代价计算模块MC，负责利用census变换和基于SAD融合的匹配算法进行像素匹配运算，得到每个像素视差范围内的所有的初始匹配代价；