[发明专利]一种深度图像序列处理的方法及装置

说明书

技术领域

本发明涉及数据信息处理技术领域，特别是涉及一种深度图像序列处理的 方法及装置。

背景技术

纹理序列即是当前使用摄像机获得的二维图像序列。获得纹理序列是一个 将三维真实世界投影到图像平面的过程。这一过程中第三维的信息被丢弃，使 得仅依靠纹理序列不能得到相应的三维场景的所有信息。

为完善地表达三维场景，就需要引入与纹理序列相对应的深度序列，以表 示出第三维的信息。一般说来，深度序列每一帧的分辨率与纹理序列一致或更 低，并采用灰度图的格式，每一个像素点的灰度值表征了相应纹理图上该点的 深度。利用纹理序列和相应的深度序列以及必须的摄像机参数，即可完整表示 三维场景。

人眼产生立体感主要基于双目视差(binocular parallax)和运动视差(motion parallax)两个方面。如果采用一个装置使左右眼分别看到不同的视差图像，则 大脑中就会产生精确的三维物体，以及该物体在场景中的定位，这就是具有深 度的立体感。为了达到这一效果，需要利用一对或多对纹理和深度序列分别生 成相应的单眼图像。研究表明，立体感和立体图像的整体质量取决于质量较好 的单眼图像。

深度序列质量的问题会影响3DTV中虚拟视角图像(即所需的单眼图像) 生成的质量，使得最终的主观质量受到限制。

另一方面，不论是用于生成3DTV的深度序列还是用作遥感测绘等的深度 序列在获得后都需要进行编码以便在信道上传输。比较简单的方法是纹理序列 和深度序列分别以MPEG或H.264等编码技术进行编码。

发明人在实现本发明的过程中，发现现有技术至少存在以下缺点：

现有的深度序列质量不佳，在时域上的一致性不够好，从而会导致生成的 虚拟视质量不佳，表现为在静止区域出现抖动等，并且会导致编码时预测残差 大，码率上升。

发明内容

本发明实施例提供一种深度序列图像处理方法及其装置，以改善深度序列 的相关性。

本发明所述的一种深度图像序列处理方法，(1)分析与深度序列图像对应 的纹理序列中当前时刻前的m帧、当前时刻n帧以及当前时刻之后的q帧图像， 并提取相关特征；(2)结合深度序列中当前时刻之前的r帧和当前时刻之后的s 帧对当前帧深度图像进行处理，最终实现增强深度图像序列时域的连续性；其 中：m＝0，1，2……；n＝0，1；n＝1代表使用当前帧，n＝0表示不使用当前帧； q＝0，1，2……；r＝0，1，2……；s＝0，1，2……；其中m、q、r、s帧是连续 的和不连续的中的一种，并有m+n+q≥2，r+s≥1。

本发明装置是采用这样的技术解决方案实现的：一种深度图像序列处理装 置，其特征在于该装置由缓存器、特征分析模块和特征处理与修正模块构成， 所述缓存器分别与特征分析模块和特征处理与修正模块相连接，特征分析模块 与特征处理与修正模块相连接，所述特征分析模块用于分析所述的纹理序列， 以获得相关的特征信息，处理修正模块能够依据特征信息对深度序列进行相应 的处理和修正。

本发明利用了纹理序列和深度序列之间的相关性以及纹理序列时间上的相 关性，从而改善深度序列的相关性；并提高虚拟视生成的质量和深度序列压缩 编码的效率。这个方法也可以应用在其它需要深度序列的场合

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

附图说明

图1为本发明所述的深度图像序列处理方法示意图之一

图2为本发明所述的深度图像序列处理方法示意图之二

图3为本发明所述的深度图像序列处理方法示意图之三

图4为本发明所述的深度图像序列处理方法示意图之四

图5为本发明所述的深度图像序列处理方法示意图之五

图6为本发明所述的深度图像序列处理装置方框图之一

图7为本发明所述的深度图像序列处理装置方框图之二

图8为本发明所述的深度图像序列处理装置方框图之三

图9为本发明所述的深度图像序列处理装置方框图之四

具体实施方式