[发明专利]一种基于DOF的恰可察觉误差模型的感知立体视频编码方法

说明书

技术领域

本发明属于视频处理技术领域，具体涉及一种感知立体视频编码方法，特别是一种基于DOF的恰可察觉误差模型的感知立体视频编码方法。

背景技术

随着3D立体视频媒体技术的飞速发展，人们对逼真的视觉体验需求也在逐渐增强。由立体摄像机捕获的S3D视频可以给用户提供更加生动的体验。不幸的是，与现实场景相比，S3D显示器经常会在3D效果上产生一些失真，这些失真会对人类双视视觉造成刺激，引起不适和视觉疲劳。它们通常是由不恰当的屏幕视差，巨大视差差异以及不自然的模糊和锐化造成的。因此，对于立体视频感知编码，在保证存储空间和传输带宽的前提下，有效的提高视觉舒适度和视频质量是非常有必要的。为了实现这一点，基于人类视觉深度感知的立体视频编码是非常有研究价值的。

由于最终接收视频信号的通常是人类视觉系统(HVS)，所以将人类视觉感知因子融合到视频编码结构将能够更好地保持视频的感知质量。立体视频编码就是要在消除视频序列的空间、时间冗余的同时，重点考虑了视间冗余信息的压缩，在不损失视频质量的前提下降低码率。目前，大量的感知视频编码方法被提出。有基于显著度的方法、基于ROI的方法、基于分析和合成的方法等，其中结合人类视觉系统掩蔽机能的恰可察觉误差模型(JND)的编码方法起到了重要作用。JND模型通过模拟人类视觉感知冗余得到一个灵敏度阈值，当编码失真低于这个阈值时是不能被肉眼所感知的。该失真阈值是客观存在于每个编码信号上的并且可用于重新分配码率从而达到编码的目的。

现有的恰可察觉误差模型，通常包括DCT域JND模型和像素域JND模型。DCT域JND模型考虑了通道间的交互作用，空间对比度敏感效应和时间对比度敏感效应，并结合了人类视觉频率效应。它利用每个频率段敏感度的对比灵敏度函数(CSF)把人眼的视觉特性融入了模型中，但是算法相对像素域较为复杂。

2013年Dongdong Zhang和Lijing Gao等在IEEE International Conference on Signal and Image Processing Applications(ICSIPA)上名为“A DCT-Domain JND Model Based on Visual Attention for Image”的论文中提出了一种DCT域的基于ROI的JND模型。它结合了调制函数的建立，在频率域JND阈值上基于图像显著度和纹理特征，同时考虑了视觉注意效应和视觉掩蔽效应，提出了一种新颖的DCT域JND模型。可有效用于图像、视频编码，但是变换域的计算量较大。

与DCT域相比像素域JND模型算法简单，计算量较小。空间域JND模型、时域权重JND模型、中央凹JND模型以及基于深度图的JND模型。空间域JND模型有效的体现了亮度、纹理掩蔽效应，而时域权重JND模型考虑了时域掩蔽效应。中央凹JND模型表现了双目中央凹掩蔽效应，它是集成了人类视网膜中央凹特征和传统的视觉敏感度特征得到的。但是由于这些模型没有考虑视间冗余的特性，所以并不能准确的用于双目立体视频编码。

2011年Lei Zhang和Qing Peng等在IEEE Transactions on Broadcasting上一篇名为“Stereoscopic Perceptual Video Coding Based on Just-Noticeable-Distortion Profile”的论文中提出了一种基于立体显示器的中央凹权重恰可觉察失真模型。其根据观察者距显示器的距离和人类视觉的关注点间的角度信息得到每个像素的中央凹权重恰可觉察失真阈值。并利用块自适应残差预处理器调整残差帧，用于视频编码，达到了较好的立体视频编码效果。但是该方法对立体显示器的依赖性较高，可扩展性不强，使得编码软件的编码效率降低。

2013年在名为“一种基于双目恰可察觉失真的立体视频码率控制方案”的NO.CN103414889A专利中提出了一种基于亮度JND模型的双目恰可察觉失真模型。该方法通过对目标码率的计算来实现码率控，分别针对的是视点层，图像组层，帧层，片组层和宏块层，通过在左视点每个像素位置上偏移一个视差矢量，得到的像素亮度对比度来计算该JND模型，它会过分依赖于左视点，将基于左视得到的阈值用于右视图，并不能充分体现双目视差冗余信息。

发明内容

本发明的目的在于解决上述现有技术的不足，提出了一种基于DOF的恰可察觉误差模型的感知立体视频编码方法。

实现本发明目的的技术方案是：一种基于DOF的恰可察觉误差模型的

感知立体视频编码方法，包括如下步骤：