[发明专利]基于JNDD模型的快速深度图编码模式选择方法

说明书

技术领域

本发明涉及一种三维视频编码中深度图编码技术，特别是一种降低深度图编码复杂度的基于最小可觉深度差(Just Noticeable Depth Difference, JNDD)模型的编码模式选择方法。

背景技术

深度增强型三维视频(Three-Dimensional Video, 3DV)结构由彩色视频和其对应的深度图组成，是目前广泛流行的多视点视频(Multi-view Video, MVV)或自由视点视频(Free Viewpoint Video, FVV)的表示方法。在MVV和FVV的应用设备中，基于深度图像的绘制技术(Depth Image Based Rendering, DIBR)利用深度图蕴含的几何信息合成高质量的虚拟视点，具有便于压缩、兼容性好、支持交互性等特点。为了满足数据存储和网络传输等要求，深度图通常由灰度级图像序列表示，并且可由H.264/AVC等视频编码技术进行编码。

深度图是基于深度的虚拟视点绘制过程中的重要辅助信息，在3DV系统中对合成视的质量至关重要。在视点绘制过程中，原始彩色视频中的像素点根据其对应的深度信息被变换为基于深度的虚拟视点。若在虚拟视中前景对象和背景对象的像素点出现交叠，则由前者遮挡后者。若深度数据存在失真，则会造成某些像素被映射到虚拟视中的不同位置而导致几何变化。此外，深度数据的改变也可能造成前景对象和背景对象遮挡次序的改变，使得绘制视中背景对象意外地可见，从而导致遮挡变化。深度图中几何变化和遮挡变化均能引起合成视中的纹理失真。在3DV系统中除了深度图获取时产生的失真，由深度图编码引入的深度失真也会引起绘制虚拟视的失真，从而导致合成视的纹理失真，因此对深度图压缩编码时除考虑编码效率外尤其要考虑深度编码方法对虚拟绘制视的影响。

在深度增强型3DV系统的编码过程中，深度图中像素点的亮度值会由于压缩编码而产生变化，从而在合成视中引入纹理失真。深度图中两个相邻水平像素点的深度差越大，这两个点在绘制后不连续的可能性越大。因此深度图中边缘区域极易由于深度值的改变而引起虚拟视中的像素点被映射到错误位置而产生几何变化，由前景和背景次序改变导致的遮挡变化也极易在边缘区域发生。在深度图中不同区域的编码失真对合成视的影响是不同的。由边缘区域的编码失真引入的绘制失真在合成视中是恼人的且极易被发觉的。而在平坦区域，由深度编码引起的绘制失真通常是轻微的、不易被察觉的。根据人眼的视觉特性，人眼通常察觉不到一定小范围内的深度变化，因此在这一深度变化范围内，由深度编码引起的绘制失真是人眼所察觉不到的。

发明内容

本发明旨在针对已有技术存在的缺陷，提供一种基于JNDD模型的快速深度图编码模式选择方法，利用深度数据的特点及深度图编码失真对虚拟绘制视的影响，在保证虚拟绘制视质量与深度图编码码率基本不变的同时，降低深度图编码的计算复杂度以提高深度图编码速度。

为达到上述目的，本发明的构思是：

首先对编码宏块进行边缘检测，得到当前块的边缘值；然后利用最小可觉深度差模型确定宏块内不同深度值区域内的深度差不可被人眼察觉的门限值，根据上述门限值与边缘值进行比较的结果，将深度图划分为垂直边缘区域与平坦区域；对垂直边缘区域和平坦区域采用不同的编码模式搜索策略，得到各宏块的最优编码模式。

根据上述构思，本发明的技术方案是：

上述的基于JNDD模型的快速深度图编码模式选择方法, 其步骤是：

(1)     编码宏块的边缘检测：对各编码宏块进行边缘检测，得到当前宏块的边缘值；

(2)     宏块区域类型的划分：将宏块边缘值与由JNDD模型确定的深度差不可被人眼察觉的门限值进行比较，把宏块划分为垂直边缘区域与平坦区域；

(3)     最优编码模式选择：对边缘区域采用全搜索策略，对平坦区域采用SKIP模式、帧间16×16模式和帧内模式搜索，得到各宏块的最优编码模式。

本发明的基于JNDD模型的快速深度图编码模式选择方法与已有技术相比较，具有如下显而易见的突出实质性特点和显著优点：该方法将JNDD模型引入到深度编码中，合理地对常规视频编码器进行改进，以对绘制的虚拟视不引入任何人眼可察觉的纹理失真为前提，将深度图划分为对绘制失真敏感的边缘区域和深度失真所引入的绘制失真在人眼不可察觉范围内的平坦区域，舍去了平坦区域中不必要的模式搜索，在编码码率与绘制质量基本不变的前提下降低了深度图编码复杂度，从而可以在基于深度的3DV系统中深度编码方面得到应用。

附图说明