[发明专利]结合JND模型的交叉验证深度图质量评价方法

说明书

本发明公开了一种结合JND模型的交叉验证深度图质量评价方法，其利用深度图对应的彩色图和辅助视点上的彩色图来获得差值图；利用深度图及与其对应的彩色图经3D‑Warping映射到辅助视点上的彩色图中每个坐标处的像素个数来获取遮挡掩膜；然后利用遮挡掩膜去除差值图中被遮挡的像素点得到去遮挡后的差值图；接着将辅助视点上的彩色图划分为平坦、边缘和纹理三个区域获得区域标记图；之后引入JND模型，结合区域标记图，获取辅助视点上的彩色图中的每个像素点的误差可视阈值；最后根据去遮挡后的差值图和误差可视阈值，获得深度误差图，进而获得深度图中的错误像素点的比率作为质量评价值；优点是其能有效地提高评价结果与绘制得到的虚拟视点的质量之间的一致性。

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种结合JND(Just-noticeable-distortion，恰可察觉失真)模型的交叉验证深度图质量评价方法。

背景技术

近年来，视频技术迅速发展，出现了许多新的应用，如3D视频和自由视点视频(FVV，Free Viewpoint Video)。与传统的二维视频相比，3D视频提供了深度信息，带来了更逼真的视觉体验。深度图在许多3D视频应用中起着基本作用，例如，深度图可以用于通过在可用视点处内插或外推图像来生成任意新视点图像；此外，高质量的深度图为解决计算机视觉中的具有挑战性的问题提供了帮助。许多3D视频应用的性能受益于准确和高质量的深度图的估计或采集，可以通过匹配经校正的彩色图像或使用深度相机来获得深度图。在立体匹配技术中，由于受遮挡和大面积均匀区域的影响，因此常常会产生不准确的深度图，虽然立体匹配算法的固有困难可以使用深度相机来解决，但是不可避免的传感器噪声问题依然存在，影响了深度的精度和对象的形态。

3D视频技术的一个主要发展方向是基于彩色加深度的自由视点视频系统，该系统的基本框架包括采集、预处理、编码、传输、解码、虚拟视点图像绘制和显示等环节。基于彩色加深度的自由视点视频系统能让用户自由地选择任意位置的视点进行观看，增强了人机交互性。实现自由视点视频系统的一项关键技术就是虚拟视点生成技术，它的主要用途是克服相机获取真实视点能力的限制，产生任意位置的虚拟视点。影响虚拟视点质量的因素主要有两个：一是深度图和对应彩色图像的质量；二是虚拟视点绘制算法。目前，基于深度图的绘制(DIBR，Depth Image Based Rendering)技术是业界应用最为广泛的一种虚拟视点生成技术。在基于深度图的绘制技术中，深度信息是生成高质量的虚拟视点的关键，深度信息错误将导致视差错误，造成虚拟视点中像素位置的偏移和对象扭曲，影响用户感知。深度信息代表的是对应场景到相机成像平面的距离信息，它将实际距离值量化到[0，255]。由于深度相机价格昂贵，因此目前用于测试的深度图大多通过深度估计软件得到。为了推广应用和降低成本，用于虚拟视点绘制的深度信息不适合在接收端通过深度估计产生，需要在发送端采集或者估计，然后编码传送给接收端。因此，深度图获取算法的限制和深度图编码会导致深度估计不准和深度压缩失真。

基于深度图的绘制技术的核心思想为利用深度信息和相机参数将参考图像中的像素投影到目标虚拟视点，一般可以分为两步，首先将原参考视点中的像素利用其深度信息重投影到它们对应的三维空间位置；然后根据虚拟视点的位置(如相机平移、旋转参数等)将这些三维空间点再投影到虚拟相机平面进行成像得到虚拟视点中的像素。虚拟视点绘制时，需要将深度转化为视差，通过视差可求得参考像素点在虚拟视点中的位置，深度值决定了参考视点中的像素的偏移距离。若相邻像素的深度值变化剧烈，则会在两像素之间产生空洞，深度值变化越尖锐，则产生的空洞越大。由于前背景交界处深度值变化较大，因此空洞的产生一般位于前背景交界处。当参考图像中被前景对象遮挡的背景区域在虚拟图像中可见时，虚拟图像中将出现空洞，而当参考图像中未被前景对象遮挡的背景区域在虚拟图像中不可见时，则发生遮挡。