[发明专利]一种基于轮廓匹配的深度扩散方法及装置

说明书

技术领域

本发明涉及计算机视觉技术领域，特别涉及到一种基于轮廓匹配进行深度扩散的方法。

背景技术

立体视频技术是一种能够提供立体感的新型视频技术。与单通道视频相比，立体视频一般有两个视频通道，数据量要远远大于单通道视频，所以对立体视频的高效压缩尤为重要。基于深度图像绘制技术是未来3DTV系统在解码端的一项关键技术。

在立体视频处理中，深度扩散指利用关键帧图像和其对应的深度图计算非关键帧的深度图的方法。深度扩散的基本思路是利用关键帧与非关键帧图像之间的相关性找到非关键帧中对应于关键帧的深度区域，并计算这部分区域的深度值，得到非关键帧图像的深度图。在关键帧与非关键帧变化不太剧烈的场景(如静止场景、缓慢运动场景等)中，深度扩散方法在计算非关键帧的深度图时有较好的结果。

传统的进行深度扩散的方法主要是利用图像的颜色特征、运动信息以及直方图匹配。具体而言，使用颜色特征进行深度扩散的方法是通过寻找相邻区域颜色上的相关性来确定相似区域的方法，这种方法对于纹理简单的场景比较有效。使用运动信息进行深度扩散的方法需要计算关键帧与非关键帧之间的运动向量，然后将运动趋势一致的区域相对应，对于运动缓慢或镜头静止的场景比较有效。而直方图匹配的方法是一种统计学的方法，该方法对图像中的小区域进行局部直方图匹配，将匹配到的区域相对应，认为它们具有相同的深度图。直方图匹配方法准确性相对较高，但是计算速度较慢。

发明内容

本发明的目的旨在至少解决上述的技术缺陷之一。

本发明的第一个目在于提供一种基于轮廓匹配的深度扩散方法，该方法可以生成的非关键帧深度图不仅边缘清楚，而且深度层次明确、平滑性能好且时域稳定性高。

本发明的第二个目的在于提供一种基于轮廓匹配的深度扩散装置。该装置可以生成的非关键帧深度图不仅边缘清楚，而且深度层次明确、平滑性能好且时域稳定性高。

为达到上述目的，本发明第一方面实施例提出一种基于轮廓匹配的深度扩散方法，包括如下步骤：

输入多帧图像，提取所述多帧图像中每一帧图像的轮廓以得到每一帧图像的轮廓序列，所述轮廓序列包括所述每一帧图像的每个轮廓的信息；

根据所述每一帧图像轮廓序列计算每一帧图像的轮廓序列中每个轮廓的轮廓特征值；

将当前帧图像的每个轮廓特征值与前一帧图像的轮廓序列中每个轮廓的轮廓特征值进行比对以获取所述当前帧图像的每个轮廓的在所述前一帧图像中的相似轮廓；

将所述前一帧图像中的所述相似轮廓所包围区域的深度值赋值给所述当前帧的对应轮廓所包围区域以得到所述当前帧的每个轮廓的深度值以得到所述当前帧图像的深度图。

根据本发明实施例的基于轮廓匹配的深度扩散方法，对帧图像的轮廓序列进行处理之后可以有效的降低噪声对帧图像深度图的不利影响，得到的非关键帧深度图深度层次明确，经过修正和边缘处理之后边缘清晰，平滑性能好且时域稳定性高。而且深度图的信息含量较全，帧图像在经过基于轮廓匹配的深度扩散方法进行处理后所形成的深度图仍然包含有丰富的数据信息。此外，采用轮廓匹配的方法对轮廓信息进行图像内区域的匹配，可以得到准确的匹配结果。即使图像为变形、扭曲的物体，也可以得到准确的匹配效果，并且抗噪声能力强。

本发明第二方面的实施例提出一种基于轮廓匹配的深度扩散装置，包括：输入模块，所述输入模块用于输入多帧图像，提取所述多帧图像中每一帧图像的轮廓以得到每一帧图像的轮廓序列，所述轮廓序列包括所述每一帧图像的每个轮廓的信息；特征值计算模块，所述特征值计算模块与所述输入模块相连，用于根据所述每一帧图像轮廓序列计算每一帧图像的轮廓序列中每个轮廓的轮廓特征值；比对模块，所述比对模块与所述特征值计算模块相连，用于将当前帧图像的每个轮廓特征值与前一帧图像的轮廓序列中每个轮廓的轮廓特征值进行比对以获取所述当前帧图像的每个轮廓的在所述前一帧图像中的相似轮廓；深度赋值模块，所述深度赋值模块与所述比对模块相连，用于将所述前一帧图像中的所述相似轮廓所包围区域的深度值赋值给所述当前帧的对应轮廓所包围区域以得到所述当前帧的每个轮廓的深度值以得到所述当前帧图像的深度图。