[发明专利]一种编解码系统的图像与视频重构方法

说明书

技术领域

本发明涉及一种图形处理方法，具体是指一种编解码系统的图像与视频重构方法。

背景技术

三维视频(3 Dimensional Video，3DV)是一种新兴的媒体，同时也是当今媒体发展的必然趋势，它能够使观众自由的选择观看的视角，真切的感受三维(3D)立体世界。在三维视频技术中，基于深度的虚拟视点绘制技术已被动态图片专家组组织确认为三维视频系统中虚拟视点绘制的候选方案。该基于深度的虚拟视点绘制技术核心思想为：(1)利用深度信息，将参考图像上所有的像素点重新映射到它们对应的3维空间中；(2)这些3维空间点再被映射到目标图像(虚拟视点图像)平面。这个从2维到3维的重新映射以及从3维再到2维的映射称为三维图像变换(3D Image Warping)。

深度信息在此项技术中是非常关键的，它的准确性与否决定了绘制过程中映射坐标位置是否准确。但是，为了能够减少信道传输过程中的数据量，对于深度信息，也是需要经过编码。尽管研究人员采用各种对于深度的编码方式，如对深度视频信息编码过程中采用加权模式的滤波、利用相关的彩色视频编码过程中的信息来对深度视频进行编码以提高率失真性能，用来降低深度信息在编码过程中造成的失真，可是编码失真问题仍是不可避免的。这种失真对于基于深度的虚拟视点绘制技术而言是较为敏感的，深度值的失真会引起绘制过程中映射坐标位置的错误，造成虚拟视点图像的几何失真，最终影响虚拟视点图像的主客观质量。

针对深度图编码失真问题，国内外已有学者对此进行了研究。Oh等人提出了对于编码失真的深度对象边缘区域进行重建滤波，以恢复这一区域内失真的深度值。该方法考虑了局部邻域区域内的直方图信息、距离相关性信息及深度值差异信息，以优化调整深度图中对象边界区域内失真的深度值，这种方法在一定程度上提高了虚拟视点绘制图像的质量，但是该方法只调整边界区域的深度值失真，随着编码量化参数(QP)的增大，编码失真区域也随之扩散，所以该方法不能够有效的恢复全局的深度值失真。Yuan等人提出了在发送端传输滤波器系数，在客户端利用维纳滤波器(wiener filter)对编码失真图像进行滤波，以得到与参考图像接近的虚拟视点图像的框架，该方法有效的提高了虚拟视点图像的质量。但是，维纳滤波器只利用了前向的信号信息来预测当前的信息，没有考虑二维图像中周围邻域内的空域相关信息；同时在计算所需传输的滤波器系数时，每一帧图像都需要有相关的滤波器系数，在一定程度上增加了传输的数据量。

因此，目前所采用的两种方法均不能从根本上解决深度图编码失真的问题，不能满足人们的使用需求。

发明内容

本发明的目的在于克服目前针对编码后的深度图像序列中深度值的失真在绘制过程造成的映射错误，对绘制得到的虚拟视点图像序列质量产生不良影响的缺陷，提供一种能有效解决该问题的编码系统的图像与视频重构方法。

本发明通过以下技术方案来实现：一种编解码系统的图像与视频重构方法，其特征在于，主要包括以下步骤：

S1、利用采集的原始深度图像和原始彩色图像生成参考虚拟视点图像序列；

S2、对原始深度图像和原始彩色图像进行编码形成压缩视频流；

S3、对形成的压缩视频流进行解码，得到失真图像，并采用失真图像绘制生成第一失真虚拟视点图像序列；

S4、将参考虚拟视点图像序列和第一失真虚拟视点图像序列按照时间方向的顺序对应进行组层划分；

S5、设置滤波器，并带入组层进行计算以得到滤波器系数；

S6、发送端传输滤波器系数与压缩视频流至客户端；

S7、客户端对压缩视频流进行解码再次得到失真图像，并采用失真图像绘制生成第二失真虚拟视点图像序列，利用滤波器系数对第二失真虚拟视点图像序列滤波，重构得到第三失真虚拟视点图像。

进一步地，步骤S4中所述的“进行组层划分”是指系统将参考虚拟视点图像序列和第一失真虚拟视点图像序列分解为组层、帧层及块层；其中，帧层是指在同一时刻由一帧参考虚拟视点图像序列与一帧第一失真虚拟视点图像序列组成，组层则是由连续的两个以上的帧层组成，而一帧图像则由若干W_b×H_b尺寸的块层组成。

为了较好的实现本发明，步骤S5所述的“设置滤波器，并带入组层进行计算以得到滤波器系数”具体包括以下步骤：

S51、设计线性加权滤波器；

S52、以参考虚拟视点图像序列与第一失真虚拟视点图像序列差异度最小为代价函数，计算出滤波器系数矩阵；

S53、进行滤波器系数最优矩阵估计；