[发明专利]基于空洞和轮廓扩增的DIBR合成图像质量评价方法

说明书

本发明属于自由立体成像和质量评价领域，为实现有效评价DIBR合成视图的质量，促进自由视点立体视频的发展。为此，本发明采取的技术方案是，基于空洞和轮廓扩增的DIBR合成图像质量评价方法，依据分水岭算法和图像之间的差异，将虚拟视图中的空洞和轮廓扩增区域提取出来，并利用本发明中的质量评估器有效评价空洞和轮廓扩增区域，以达到有效评价基于深度图像的绘制技术DIBR合成视图质量的目的。本发明主要应用于自由立体成像和质量评价场合。

技术领域

本发明属于自由立体成像和质量评价领域，具体涉及合成图像质量评价领域的一种基于空洞和轮廓扩增的DIBR合成图像质量评价方法。

背景技术

为了降低三维(3D)视频系统对存储容量和传输带宽的需求，在2003年C.Fehn提出了基于深度图像的绘制技术(Depth-Image-Based rendering,DIBR)，但是在绘制的过程中会出现空洞，轮廓扩增等一系列的失真问题。这些失真问题会导致合成图像质量下降，从而影响整个自由视点立体视频的观看效果，最终给观众带来不好的视觉体验。在二维(2D)图像质量评价上，已经有很多有效的方法，但是由于DIBR合成图像类型比较复杂，传统的质量评价方法很难有效评估DIBR合成图像中出现的空洞失真，并且在现有的DIBR合成图像质量评价中并没有针对轮廓扩增区域进行有效评价，所以完整的提取空洞和轮廓扩增区域并对其进行有效评估从而评估合成图像的质量是非常棘手的问题。

空洞产生的原因主要是由于在原参考视点中不可见的信息，在虚拟视点中可见。空洞是DIBR合成图像一个主要的失真问题，对图像的质量影响比较明显。轮廓扩增产生的原因是利用空洞周围的信息填补空洞，裁减图像的边缘，然后将图像扩大到和原来一样的尺寸。由于扩增区域是利用周围信息进行填补得到的，所以不易发现，但是在和基准图的比较中可以明显看出这类失真。

为了评估虚拟视图中的空洞，在一些文献中借助参考图像，提取出空洞区域，利用空洞区域的大小对合成图像进行了评估，尽管这种方法有可以有效的提取虚拟视图中的空洞区域，但是在实施过程中需要参考视图的参与。目前比较流行的方法是顾等人提出的APT(AR-plus thresholding，自回归加阈值)算法，该算法利用自回归模型对局部像素点进行自预测，然后根据预测残差的分布对图像的空洞区进行检测，并应用空洞区的大小来度量图像的质量。但是该算法效率太低，实时性差，并不是一种有效的质量评价方法。并没有文献提出评估轮廓扩增区域的方法，此类失真目前不能利用无参考的质量评估方法进行提取。因此，对于虚拟视点绘制技术而言，准确地提取并且评估空洞和轮廓扩增区域是非常有意义，此外提高算法的效率也是非常有价值的。

发明内容

为克服现有技术的不足，本发明旨在实现有效评价DIBR合成视图的质量，促进自由视点立体视频的发展。为此，本发明采取的技术方案是，基于空洞和轮廓扩增的DIBR合成图像质量评价方法，依据分水岭算法和图像之间的差异，将虚拟视图中的空洞和轮廓扩增区域提取出来，并利用本发明中的质量评估器有效评价空洞和轮廓扩增区域，以达到有效评价基于深度图像的绘制技术DIBR合成视图质量的目的。

具体步骤如下：

1)获取虚拟视图的梯度图，利用分水岭算法将梯度图中灰度值相同的区域进行分割，从而获得分割后的坐标集，根据分割的坐标集，利用二值操作对梯度图进行操作，将坐标集内的区域标记为白色，其余区域标记为黑色；

2)利用图像膨胀方法，消除过度分割的区域；利用中值滤波去除二值图像中的椒盐噪声，从而获得完整的空洞图；

3)获得完整的空洞图后，标记每个空洞区域，根据空洞区域的面积大小和空洞的离散程度，设计空洞质量评估器，对空洞区域进行评估；

4)对基准图和虚拟视图进行直方图规定化处理，将图片转化为统一形式，分通道进行差分运算，提取基准图和虚拟视图之间的轮廓差异，然后利用阈值法，消除噪声；