[发明专利]一种实时高清深度估计系统

说明书

技术领域

本发明属于视频图像处理技术领域，更为具体地讲，涉及一种实时高清深度估计系统。

背景技术

随着显示技术的发展，3D电视已成为电视技术发展的主流趋势，人们越来越强烈地渴望在家中就能体验到3D技术带来的震撼效果。然而，3D片源的短缺，制作成本的昂贵，严重阻碍了3D电视技术的发展。如果能将目前大量的2D视频实时转为3D视频，则不仅可以为立体显示提供丰富的素材，而且能大大节约制作成本。因此，2D转3D技术成为当前3D电视技术发展的主流方向。

深度图由于包含物体的三维信息即深度信息，而被广泛应用于2D转3D系统中，其精确与否直接影响到生成3D视图质量的好坏。然而，直接拍摄深度图不仅价格昂贵，而且设备复杂，周期长，不适合3D的家用发展前景。正因于此，深度估计技术油然而生。深度估计能从一幅或多幅彩色图中估计出深度图，有效的解决了该问题。然而，深度估计算法的复杂度大都比较高，对于高清乃至全高清视频，深度估计算法的复杂度更会显著增加，软件已无法满足实时处理的要求。例如，采用深度估计参考软件(DERS)对640×480分辨率的图片进行估计，估计一幅深度图像需要30s的时间。因此，为满足实时处理的要求，采用硬件实现深度估计具有重要的理论意义和研究价值。

目前，深度估计系统的硬件实现还研究的比较少。2011年Altera全国大学教师会议上，中山大学展示了“基于SOPC的2D转3D多媒体处理系统”。该系统采用Nios II来进行深度估计，可实时估计出深度图像。然而，该系统最高支持分辨率为800×600，且深度估计部分采用C语言进行设计，不利于ASIC的代码移植。台湾大学提出了一种适用于1080P的2D转3D系统。该系统可实时处理1080P视频流。上海大学2012年提出了一种基于双目视觉的实时深度估计系统，该系统能实时处理1080P视频流，且吞吐量达到131fps。然而，该系统采用视差进行深度估计，处理时需要至少两幅图像，且必须知道摄像机标定参数。然而，在大多数情况下，摄像机标定参数是未知的，且需要由单幅图像进行深度估计，因而该系统不能满足上述要求。

基于相对高度的深度估计方法可基于摄像机标定参数是未知的，且由单幅图像进行深度估计，其流程如图1所示，可分为四步：

（1）、彩色图转灰度图：将输入的彩色图转为灰度图；

（2）、边缘检测：采用Sobel算子求取物体的边缘，得到对应的边缘图；

（3）、线轨迹追踪：首先根据上远下近模型给定一个间距平均分布的初始线轨迹图(initial line map)和初始深度图；其次根据每列的边缘值及相应约束条件从左向右追踪，逐列求取初始线轨迹点在下一列上的对应匹配点，得到线轨迹图；

（4）、深度赋值：根据每列线轨迹点的坐标，逐列进行赋值，从而得到深度图。

然而，在上述线轨迹追踪步骤中，存在大量指数运算和除法运算的约束计算公式，计算复杂度高，不利于硬件的实现。同时，上述相对高度的深度估计方法采用软件方法，不能满足实时处理的要求。

发明内容

本发明的目的在于克服现有技术的不足，提供一种实时高清深度估计系统，以硬件方式实现相对高度的深度估计，以满足实时处理的要求

为实现上述目的，本发明实时高清深度估计系统，其特征在于，包括：

一边缘检测模块，用于接收输入的分辨率为1280×720p彩色图像数据，然后将彩色图像数据即彩色值转换为灰度值；内部的块RAM对转换得到连续三行灰度值进行缓存，每一个时钟输出三个灰度值进行sobel算子处理，计算每个灰度值对应的边缘值即边缘图数据并按行输出给边缘图数据缓存模块，其中边缘图数据的位宽为8bit；

一边缘图数据缓存模块，采用16片块RAM对逐行输入的边缘图数据进行缓存，每片块RAM缓存一行数据；缓存完16行边缘图数据后，同步读取16片块RAM中的数据，并对同地址的数据组合为128bit的边缘图数据后输出给多口内存控制模块；组合输出完毕后，对下16行逐行输入的边缘图数据进行缓存、同步读取以及组合输出；

一DDR2存储器，内部开辟4段地址E1、E2、D1、D2；其中地址段E1、E2用于交替存储和读取一帧边缘图数据即向地址段E1存储边缘图数据时，从地址段E2读取边缘图数据，一帧边缘图像数据存储和读取完毕后，交换地址段E2用于存储，地址段E1用于读取，地址段D1、D2用于交替存储和读取一帧深度图数据即向地址段D1存储深度图数据时，从地址段D2读取深度图数据，一帧深度图像数据存储和读取完毕后，交换地址段D2用于存储，地址段D1用于读取；