[发明专利]一种基于视差最小可察觉误差模型的感知立体视频编码

说明书

本发明属于视频处理技术领域，具体公开了一种基于视差最小可察觉误差模型的感知立体视频编码方法，其实现步骤为：(1)视差估计；(2)基于视差的JND模型估计；(3)计算亮度，纹理和时间加权JND模型；(4)利用非线性加性模型将基于视差的JND模型和空域‑时域JND模型结合，得到基于视差的双目立体JND模型；(5)将基于视差的双目立体JND模型用于立体残差预处理器，进行残差重置。本发明可有效的消除时间、空间以及双目立体视频的视间冗余，并且不管是亮度、纹理区域还是物体边缘的信息，都保持着十分自然的视觉效果。因此，本发明能在不影响立体视觉感知质量的前提下，大幅度的降低了立体视频码率。

技术领域

本发明属于视频处理技术领域，具体涉及一种感知立体视频编码方法，特别是一种基于视差最小可察觉误差模型的感知立体视频编码。

背景技术

由于逼真的视觉体验需求逐渐增强，近年来3D电视技术的发展十分迅速。由不同视点的多台摄像机从不同视角捕获同一个场景所产生的多视点视频，可以给用户带来更生动的视觉体验。然而，随着摄像机数量的增多，在存储和传输3D立体视频时所需的存储空间和带宽需要成倍的增加才能保持视频图像的质量。因此，有效的立体视频编码方法是十分必要的。

立体视频编码就是要消除视频序列的空间、时间和视间冗余等，在不损失视频质量的前提下减少码率。由于视频信号的最终接收者通常是人类视觉系统(HVS)，所以人类视觉感知因子和视频编码的融合将能够更好地维持视频的感知质量。目前，大量的感知视频编码方法被提出。其中结合人类视觉系统掩蔽机能的最小可察觉误差模型(JND)的编码方法起到了重要作用。JND模型通过模拟人类视觉感知冗余得到一个灵敏度阈值，当编码失真低于这个阈值时是不能被肉眼所感知的。该失真阈值是每个编码信号上客观存在的可用于重新分配码率从而达到减少码率的目的。

现有的最小可察觉误差模型，通常包括像素域JND模型和变换域JND模型。变换域JND模型考虑了通道间的交互作用，结合了人类视觉频率效应，空间对比度敏感效应和时间对比度敏感效应。它利用每个频率段敏感度的对比灵敏度函数(CSF)把人眼的视觉特性融入了模型中，但是算法相对像素域较为复杂。

Shang X,Wang Y和Luo L等在IEEE International Conference ICIP上名为“Perceptual multiview video coding based on foveated just noticeabledistortion profile in DCT domain”的论文中提出了一种DCT域的中央凹JND模型。它采用了与水平和垂直频率，偏心率，等相关的对比度阈值得到该JND模型，并与时空JND模型相结合。可有效用于多视点视频编码，但是变换域的计算量较大。

像素域JND模型算法简单。最广泛的有空间-时间JND模型、视网膜中央凹JND模型以及基于深度图的JND模型。空间-时间JND模型有效的体现了亮度、纹理和时域掩蔽效应。视网膜中央凹JND模型集成了传统的视觉敏感度特征和视网膜中央凹特征，表现了中央凹掩蔽效应。这两个模型有效的描述了时间和空间冗余特性但不能体现视间冗余的特性，不适用于立体视频编码。基于深度图的JND模型考虑了深度掩蔽效应，可用于消除立体视频图像的感知冗余。但是这个模型适用的前提是已知视频的深度图序列。

2013年在名为“一种基于双目恰可察觉失真的立体视频码率控制方案”的NO.CN103414889A专利中提出了一种基于亮度JND模型的双目恰可察觉失真模型。该方法通过分别计算视点层，图像组层，帧层和宏块层的目标码率来实现码率控制，以左视点基础上偏移一个视差矢量位置上的左视像素亮度的对比度得到该JND模型，实现了码率控制，它会过分依赖于左视点，基于左视得到的阈值用于右视图，并不能充分体现双目视差冗余信息。