[发明专利]一种基于中心凹恰可觉察失真模型的深度视频编码方法

说明书

技术领域

本发明涉及一种视频信号的处理方法，尤其是涉及一种基于中心凹恰可觉察失真模型的深度视频编码方法。

背景技术

目前，3DTV与FTV广泛使用多视点彩色加深度视频(Multi-view Video plus Depth，MVD)进行场景描述。MVD包括多个视点的彩色和对应的深度信息，通过编码、传输、解码后在显示端进行虚拟视点绘制。在MVD中，尽管多视点彩色视频的编码已经得到广泛的研究，其中较为适用的编码平台有JMVM(Joint Multiview Video Model)和JMVC(Joint Multiview Video Coding)，但是有关深度视频编码的研究较少。深度视频代表相机距离3D空间中对象的相对距离，在计算机视觉和计算机图像领域广泛用于描述3D信息。另外，值得注意的是，深度视频并不是直接用于显示，目前大多数基于图像的绘制方法都是利用深度图并结合立体或者多视点彩色视频进行虚拟视点绘制。与彩色视频仅仅关心本身的压缩效率不同，深度视频编码的主要目标是在压缩深度视频的同时保证虚拟视点绘制质量，因此针对深度视频的压缩必须考虑在不同码率下绘制视点的质量。

与单通道视频信号仅仅传输一个通道的彩色视频不同，MVD不仅需要传输多个通道的彩色视频，还需要传输对应的深度视频，因此必须对MVD视频信息进行有效的压缩。通常，MVD使用变换、量化、运动估计、运动补偿、熵编码、帧内和帧间预测等去除空间、时间以及视点间的冗余，在此过程中量化是引入视频误差的主要因素之一。在彩色视频编码中，量化误差导致每个像素亮度或者色度成分的失真，将直接影响视频质量；而深度视频的量化误差间接地影响绘制的视频质量，即量化误差在绘制阶段的像素内插时导致几何失真，而几何失真转化为绘制视点的亮度或者色度误差。同时，MVD在用户端进行显示，无论是真实视点还是虚拟视点的场景，最直接的感受者通常是人眼，因此为了在不影响虚拟视点绘制质量的前提下提高深度视频的压缩效率，需要进一步理解并运用人眼视觉系统(Human Visual System,HVS)的感知特性，根据深度视频失真对虚拟视点绘制的影响，设计高效的深度视频压缩方案。

在深度视频压缩方面，Lai等人利用相机内参和全局视频特性，分析深度视频压缩失真对虚拟视点绘制质量的影响，确定深度视频失真和绘制视点几何失真之间的关系。对于HVS感知方面，Safrenek分析HVS在空域中对亮度的感知特性，根据人眼对亮度对比度比绝对亮度的敏感度更大建立空域背景亮度恰可觉察失真模型(Just Noticeable Distortion,JND)，对二维图像的编码具有重要的指导作用。Eckert分析得到在图像的空间域中边界区域更能引起人眼的注意，因此边界区域所能容忍的失真比平滑或者纹理区域更少，基于此建立空间域纹理JND模型，在一定程度上节约编码二维图像的比特。Chou考虑视频中相邻帧之间较大的亮度差异导致较大的时域掩蔽效应，建立时域JND模型，在视频编码中具有指导下性意义。最近，Chen等人在已有的空域和时域JND的基础上，利用HVS视觉敏感度在整个场景并不是恒定不变的特性，即HVS中心凹特性，建立中心凹恰可觉察失真(Foveated Just Noticeable Distortion，FJND)模型。FJND模型更充分地利用了视频中的感知冗余，提高了视频压缩的效率，但是以上所建立的JND模型和FJND模型针对的是平面图像或者单通道视频,且分辨率大部分限制在CIF格式，没有考虑深度视频失真对绘制视频质量的影响和分辨率等因素，并不能很好地应用到MVD压缩中。

发明内容

本发明所要解决的技术问题是提供一种基于中心凹恰可觉察失真模型的深度视频编码方法，其在维持虚拟视点视觉感知质量的前提下，能够有效节约深度视频的编码码率。

本发明解决上述技术问题所采用的技术方案为：一种基于中心凹恰可觉察失真模型的深度视频编码方法，其特征在于包括以下步骤：