[发明专利]一种基于虚拟视点绘制的3D-HEVC错误隐藏方法

说明书

本发明提出一种基于虚拟视点绘制的3D‑HEVC错误隐藏方法，包括以下步骤：S1、彩色图补偿，对丢失的整帧彩色图像进行绘制并生成绘制视点，由于绘制视图中存在遮挡块和失真，根据当前视点和绘制视点的前后向参考帧的信息，对绘制的彩色图进行补偿；S2、判定遮挡块及进行局部填充，提取补偿后的彩色图仍然存在较小的遮挡块，并进行局部填充。本发明突破了视差矢量的局限性，在不使用视差矢量的情况下，改进了虚拟视点绘制产生遮挡块的判别和填充方式，在提高错误隐藏准确率的同时，降低了总体复杂度，更好的消除遮挡块和图像失真。

技术领域

本发明涉及视点绘制技术领域，尤其是涉及一种基于虚拟视点绘制的3D-HEVC错误隐藏方法。

背景技术

视频数据包在有限带宽通信系统传输过程中，会因网络拥塞、路由问题而丢失，导致传输效率降低。现有的差错控制方法都是为了提高差错鲁棒性，如自动重传查询(ARQ)、前向纠错(FEC)和多描述编码(MDC)。尽管这些方法通常在低错误率下工作良好，但是随着错误率的增加，它们的性能会降低。在图像和视频传输领域缓解这些问题的另一种方案是错误隐藏技术。错误隐藏技术是在解码端利用视频流帧间和帧内压缩冗余来隐藏解码帧中的出错区域，以达到主观视觉上不易觉察的效果。

而针对整帧丢失，有研究利用相邻视点中宏块的运动矢量相关性，将B帧的重要等级分级，对不同等级帧采用不同错误隐藏方法。有提出结合结构相似度，根据宏块结构相似度的大小采用不同的错误隐藏方法。有在虚拟视点绘制的基础上提出图像块联合运动判定法，将图像块像素的平均差与绘制图像相加的错误隐藏方法。还有利用相邻视点中帧物体的运动一致性，把丢失视点帧的相邻帧与其前一帧的帧差投影到当前丢失视点帧上的错误隐藏方法。还有研究用当前丢失帧时域和邻视点帧中的运动信息，区分丢失帧中的运动区域和静止区域。静止区域直接拷贝，对运动区域进一步划分遮挡边界区域和非遮挡区域后分别采用运动补偿和视差补偿恢复。利用视点间相关性和视差矢量进行错误隐藏，不足在于视差矢量具有局限性，即视点间可参考的信息少，且图像边界处一般没有参考，整帧恢复难度较大。

结合虚拟视点绘制采用图像块联合运动判定法进行错误隐藏，不足在于运动块内平均像素差与每个像素差差异过大，导致补偿过程效果较差。并且虚拟视点绘制产生的遮挡块判定方式不完善。

发明内容

针对现有技术中由于视差矢量具有局限性导致整帧恢复难度较大和由于图像块联合运动导致运动块内平均像素差与每个像素差差异过大问题，本发明提出了一种基于虚拟视点绘制的3D-HEVC错误隐藏方法，突破了视差矢量的局限性，在不使用视差矢量的情况下，改进了虚拟视点绘制产生遮挡块的判别和填充方式，在提高错误隐藏准确率的同时，降低了总体复杂度，更好的消除遮挡块和图像失真。

为实现上述目的，本发明提供以下的技术方案：

一种基于虚拟视点绘制的3D-HEVC错误隐藏方法，包括以下步骤：

S1、彩色图补偿，对丢失的整帧彩色图像进行绘制并生成绘制视点，由于绘制视图中存在遮挡块和失真，根据当前视点和绘制视点的前后向参考帧的信息，对绘制的彩色图进行补偿；

S2、判定遮挡块及进行局部填充，提取补偿后的彩色图仍然存在较小的遮挡块，并进行局部填充。

作为优选，所述步骤S1具体包括：

S101、获取当前视点view3和绘制视点DIBR view3的前向帧T-1帧和后向帧T+1帧的彩色图的像素差front_difference(T-1)和back_difference(T+1)

front_difference(T-1)＝View3(T-1)-DIBRView3(T-1)；

back_difference(T+1)＝View3(T+1)-DIBRView3(T+1)；