[发明专利]一种面向虚拟多视点绘制的深度感知增强方法

说明书

技术领域

本发明属于立体图像处理领域，涉及一种面向虚拟多视点绘制的深度感知增强方法，来增强立体显示的立体效果。

技术背景

立体(3D)技术是利用双眼立体视觉原理，结合各种深度或视差线索，使观看者从显示设备上获得立体感的各种技术的总称。3D显示技术可以分为传统立体显示技术和裸眼立体显示技术。传统的立体显示技术需要佩戴眼镜才能观察出3D图像的立体感。裸眼立体显示技术不需要佩戴眼镜，裸眼即可观察出3D图像的立体感。自由立体显示技术，是当前裸眼立体显示的主要发展方向之一，能基于多视角视频实现多观看视点的选择和全方位的立体显示，从而带给人以逼真震撼的观看效果，满足人们对场景真实再现的要求。分析表明，自由立体显示由于发展时间较短、难度较高，较传统立体显示技术而言在观看舒适度、立体感知效果等方面还有待提高。

虚拟视点绘制是自由立体显示技术的核心技术之一，根据原始视点可产生多个虚拟视点。虚拟视点绘制的目的是在原有视点的基础上，生成物理上不失真的虚拟视点视图。虚拟视点绘制技术主要包括基于模型的绘制(ModelBasedRendering，MBR)和基于图像的绘制(ImageBasedRendering，IBR)。基于模型的绘制需要几何建模与计算，在复杂场景下通过MBR成像效果并不是非常理想，无法满足用户不断发展的对图像真实感和沉浸感的需求。基于图像的绘制主要研究如何采用已知视点图像来直接生成虚拟视点下的对应图像，其绘制过程避免了复杂的几何建模与计算工作，因此具有快速、简单、逼真的优点，已成为当前最为活跃的研究方向。由于基于深度图像的虚拟视点绘制技术(DIBR)将图像和三维深度信息进行了有效的结合，提高了对自然场景的绘制速度，且可以利用少量的参考视点图像，高质量地绘制任意位置的新视点图像，节省了数据存储空间和传输带宽，近年来受到广泛的关注。但绘制多个中间虚拟视点时，会降低相邻视点之间的视差，从而降低了3D显示的立体感。因此，深度感知增强在3D显示方面具有重要作用。

从立体的角度来说，人眼在观看立体图像时只能感知大于某个值的深度变化或色彩变化，我们称之为立体的恰可察觉差异。JND模型即是针对HVS的特征通过大量实验推导出来的。研究表明，此阈值依赖于图像的亮度、对比度以及局部区域的空间分辨率等。在立体显示领域，JND模型可分为双目失真恰可察觉差异(BJND,BinocularJustNoticeableDifference)模型和JNDD(JJND,JustNoticeableDepthDifference)模型。BJND表示左右视图中人眼可察觉的最小内部差异，如果某立体图像的左右视图之间的对应位置及其像素差异小于BJND，则人眼不能感知其差别。JNDD表示人眼可察觉的最小深度差异。如果深度图中相邻对象的深度差异小于JNDD，采用该深度图合成的立体图像，人体不能感知其深度差异。Jung等基于最小可察觉深度差异(JNDD)模型实现了深度感知增强，通过拉伸深度图中物体深度差异小于JNDD阈值的部分，以使得人眼能够察觉这部分信息。Jung提出了全局深度感知增强算法，通过对JNDD模型的研究，利用深度图的直方图估计和核密度估计(KDE)方法把深度图进行分割分层处理，层之间的深度差值小于JNDD阈值的对象，采用能量最小化模型进行增强。考虑到这种全局增强算法存在诸多不足，Jung等通过更为细致的分析，提出了一种改进的基于JNDD模型的深度感知增强算法。改进算法包含深度数据维持，深度顺序保持和深度层拉伸三个主要部分。深度数据维持项通过权重函数来控制深度改变的方向，使得与真实场景的差异为最小。深度顺序保持项限制深度图中物体之间深度值的反转，使得对象边界信息准确。深度层拉伸项通过增加相邻分割层之间深度差异来增强人眼的深度感知能力。

发明内容

为克服现有技术的不足，本发明旨在依据人眼视觉深度感知原理，提出面向虚拟多视点绘制的深度感知增强方法，通过对视差图进行调整，实现面向多虚拟视点绘制的深度感知增强方法，达到改善立体显示效果的目的。为此，本发明采取的技术方案是，一种面向虚拟多视点绘制的深度感知增强方法，包括如下步骤：

1)图像分割

采用手动分割方法：依据彩色图的对象分布，人工获得准确的分割图；

2)面向虚拟多视点绘制的恰可察觉深度差异模型

分析出最小可察觉阈值会随着绘制中间虚拟视点数量变化，推导出面向虚拟多视点绘制的恰可察觉深度差异模型MVR_JNDD；

3)面向虚拟多视点绘制的深度感知增强