[发明专利]一种3D视频深度图像帧内预测模式选择方法及系统

说明书

技术领域

本发明属于视频编解码技术领域，具体涉及一种3D视频深度图像帧内预测模式选择方法及系统。

背景技术

3D视频最早可以追溯到1922年，虽然3D电影给人们带来了身临其境的感觉，还原了我们可以触摸的生活，但是由于当时的投放条件以及出于商业利润的目的，绝大部分的电影片商还始终停留在2D制作上。近年来随着数字时代的到来，视频的获取、存储、传输、播放设备已经有了大幅地提高。自2009年12月《阿凡达》上映以来，3D视频也重新进入了人民的视野，成为一种炙手可热的大众娱乐方式。然而，3D视频目前还只能停留在影院阶段，这种3D视频要受到观看位置和3D眼镜的限制，造成很大的不便的同时也无法提供交互式的3D应用。为此，业界提出了适合家庭娱乐消费的自由视点视频(FVV)，这种全新3D视频理念可以在任意位置不受眼镜的限制自由的呈现给用户3D的感觉。起初在上一代视频编码国际标准H.264中，业界提出了多视点视频(MVV)来实现自由视点视频的方案。而MVV往往需要编码传递20～50个视点的视频，才能实现自由视点视频的功能。这对于当前的编码器的处理能力、网络的传输能力、解码器的计算能力都无疑是一项巨大的挑战。为了克服多视点视频引来的巨大数据量，新一代视频编码(HEVC也称为H.265)标准采用了解码端和编码端非对称的多视点加深度图像(MVD)的格式。该格式可以通过传递少量的几个视点和其深度图像，利用深度图像通过DBIR技术绘制出任意位置的虚拟视点而实现自由视点视频的功能。因此，MVD格式逐渐成为了主流的3D视频格式，受到了学术界和工业界的青睐。在MVD的3D视频中，深度图像的编码关系到合成的虚拟视点的质量和3D视频应用的实时性。其中，深度图像的帧内编码有刷新序列和减少错误积累的作用，为深度图像编码中最重要的环节。

但是目前基于HEVC的3D视频编码测试模型3D-HEVC的深度帧内编码的计算复杂度十分高，其主要原因包含如下：

一：3D-HEVC继承了HEVC的复杂的编码结构。HEVC仍然采用以往编码标准的基于块的混合编码结构，但是与H.264相比，新的标准允许编码单元的大小为64x64、32x32、16x16、8x8的可变的块而非固定的大小为16x16的宏块。3D-HEVC将视频的每一帧划分为若干大小为64x64的最大编码单元(LCU)，每个LCU需要按4-叉树递归的方式计算每一种分割方式来确定最优的LCU划分。此外，如图1所示HEVC一共涉及35种帧内预测模式，其中33种为角度预测模式，Planar和DC模式适用于平滑区域的非角度预测。对于每一预测单元，编码器都需要遍历计算35种HEVC帧内预测模式的率失真代价来得到最优的帧内预测模式。这35种HEVC帧内预测模式以下称为传统的HEVC帧内预测模式用来区分3D-HEVC的新的帧内预测模式。

二：深度图像表征了物体与摄像机的距离，故其特性和自然图像有很大的不同，主要变现为：大部分为平滑区域，并且这些平滑区域被锐利的边缘所分割。由于深度图像锐利边缘的失真，将导致在合成虚拟视点的时候，像素映射的偏差而导致前景和背景的重叠，进而引起合成视角中物体边缘的振铃效应。因此，深度图像的帧内预测编码最重要的目的是尽可能多的保留锐利的边缘。为了实现这一目的，3D-HEVC加入了新的帧内预测模式，称为深度模型模式。深度模型模式并不是简单的矩形分割而是采用楔形分割或是等高线分割(contour)，如图2和图3所示。虽然深度模型模式可以更好的拟合物体的边界，从而可以得到更好的预测，但是深度模型模式一共引入了超过1000种模式。因此，编码器需要计算1000多次率失真代价，才能得到深度图像的最优帧内预测模式，这无疑大大增加了编码端的计算复杂程度。

三:深度图像并不是直接用来观看的，而是用在解码端合成需要的中间虚拟视角以满足观看者的需求。为了获得更好的合成视角，将视角合成优化(VSO)技术引入到3D-HEVC模型中。该技术用视角合成的质量来选择，像最优的LCU的分割或是帧内预测模式等编码参数。然而，VSO的一个重要部分就是十分耗时的渲染过程。这也成为深度图像帧内编码计算复杂程度高的另一个主要原因。

由于以上原因，高计算复杂度的3D视频很难应用到一些离线的服务器上，更何况是计算能力有限的移动终端。为了推动3D视频的实时应用，国内很多研究机构进行了大量的研究。其中，