[发明专利]基于显著性的多视点彩色加深度视频编码方法

说明书

技术领域

本发明属于3D视频编码领域，涉及一种多视点彩色加深度视频的联合视频编码方法。具体讲，涉及基于显著性的多视点彩色加深度视频编码方法。

背景技术

多视点视频是3D视频的一种有效表示方法，它是由多个摄像机从不同视角拍摄同一场景得到的一组视频信号。3D视频经常需要包含不同数目或位置的视点，然而目前大多数3D视频内容是由固定数目的相机拍摄而成，并设定了固定的视点位置，无法支持视点调整，因而不能实现更加灵活的3D感知。基于深度图像的虚拟视点绘制技术(Depth Image Based Rendering,DIBR)是一种利用彩色图像及其对应的深度图像生成新视点图像的技术，它使用3D变换技术，可以为自由立体显示提供必要的不同位置的多个虚拟视点，同时也能够为自由视点电视（Free-Viewpoint TV,FTV）提供便利，让用户在不同视点间自由切换，从而能够更加真切、自然地感知真实场景，增强3D视觉体验。

为了能够在DIBR技术的基础上方便灵活地实现视点合成，研究者们提出了将携带深度或视差信息的视频序列和彩色视频结合在一起的MVD视频表现形式。目前已经出现了很多基于MVD的虚拟视点绘制技术，考虑到彩色视频和深度数据都会对合成的视点质量产生影响，研究者们主要关注了如何调整编码时彩色和深度视频之间的比特分配来优化码率控制或者在解码之后采取一些措施来提高合成虚拟视点的视频质量。如朱高峰等探讨了彩色视频量化步长和深度视频量化步长的关系并提出二次模型，进一步得出联合比特分配方法来提高合成视点的率失真性能。Oh等人提出了空洞填补与修复技术结合来修复合成视点中的去遮挡区域和错误的深度值，以此同时从主观和客观上改善绘制视点的质量。

发明内容

本发明旨在克服现有技术的不足，尤其克服传统虚拟视点中对象及运动对象边界模糊的问题，提高虚拟视点的质量，为此，本发明采取的技术方案是，基于显著性的多视点彩色加深度视频编码方法，包括下列步骤：

1）计算当前帧的运动显著性

根据当前编码帧对应的前一帧，计算当前帧与前一帧的差值，利用两帧之间信息的差值来判定当前帧中对象的运动显著性，其中视频的第一帧被认为是静止的，没有运动；

2）计算当前帧的深度显著性

提取当前编码视频对应的深度视频，利用深度视频本身的深度信息提取深度显著性；

3）计算当前帧的深度边界

提取当前编码视频对应的深度视频，基于Sobel算子提取深度视频的边界；

4）提取视频的显著性区域

彩色视频的显著性区域R_color综合利用深度显著性和运动显著性得到，具体如下:

R_color(i,j)=D(i,j)∪M(i,j)

其中D(i,j)为(i,j)处彩色视频对应的深度显著性；M(i,j)为(i,j)处的彩色视频的运动显著性；

深度视频的显著性区域R_depth综合利用深度显著性、运动显著性和深度边缘得到，具体如下:

R_depth(i,j)=D(i,j)∪M(i,j)∪E(i,j)

其中，D(i,j)为(i,j)处的深度显著性；E(i,j)为(i,j)处的深度边界显著性；M(i,j)为(i,j)处的深度视频的运动显著性。

5）确定视频的显著性区域与背景区域之间的最优量化参数差异△QP

在彩色视频和深度视频的编码中，当前编码宏块的QP值计算为：

其中，l是分层B帧的分层等级；△QP表示显著性区域与背景区域之间的量化参数差异；QP_l是指时间层l的QP值，具体如下：