[发明专利]三维视频编解码方法及装置

说明书

技术领域

本发明属于数字视频压缩编码技术领域，特别涉及一种针对有静态背景场景的三维视频的高效的编解码方法及装置。

背景技术

近年来，随着各种多媒体服务的出现，对虚拟现实体验的需求正不断增长，各种三维视频技术也在不断地开发和推广应用之中。三维视频的核心在于能依据不同视点位置提供不同的图像信息，从而实现身临其境的体验。因此，多视点视频的编码成为了三维视频服务的一个关键技术。

最早的多视点视频编码采用的是两路或多路视频预测编码的形式，通过视间参考和帧间参考实现码流的压缩。这种形式的两路图像分别提供给用户的左右两眼，只能提供一个固定视角的三维视觉体验。要想用同样方式实现自由视角体验，就需要对来自各个视点的大量视频序列分别编码，这将产生非常大的视频数据，无论对存贮还是对传输，都有非常高的要求，很难走向实用。

为解决自由视角问题，随后出现了编码一路视频加一路深度的形式，利用深度信息将主视点图像映射到其它视点(旁视)上，实现各个视角视频内容的动态生成。但是，对于实际视频，不可避免地存在主视图像上被遮挡，而在旁视中因视角不同而显露出来的区域，即视频内容遮挡问题，生成的旁视图像将出现严重的空洞，即无内容区域，无法真正满足自由视角的需求。

现阶段国际上主要采用多路视频加多路深度(MVD)，特别是两路视频加两路深度的形式，进行多视点视频编码。由于在一路视频中被遮挡的部分，一般在另一路中能够显露出来，这种形式在一定程度上解决了遮挡问题。多路视频压缩的一个很重要的工具就是视间参考，通过视间的预测补偿去除冗余，实现数据压缩。但由于视间的参考矢量与帧间运动矢量不能相互预测，且视差矢量往往较大，影响了编码效率；同时，由于实际场景的光线问题，不同视的成像差异，以及非整宏块的物体偏移，视间预测的效率并不会很高。

在MVD的基础上，飞利浦公司又提出了分层深度视频的表达方式，将多路视频均映射到一个视点上，生成一个完整的前景图层和一个含有补充信息的背景图层，再进行编码。与MVD相比，这种方法放弃了主视外其它视的客观质量，在保证不错的主观质量的同时，大幅减少了码率，并在虚拟生成视上有不输于MVD的质量。但是，受视角范围限制，生成的视图边沿处一般有成片的空洞需要填充；同时，即使场景的背景并没有变化，由于前景运动造成深度图变化，会使得作为补充的背景图层在范围和内容上均有不小的帧间变化，这就影响了背景图层的预测编码，降低了压缩效率。

本申请人在中国专利申请201010039620.8中公开了一种基于图层分解的视频编码、解码方法及装置，有效地提高了普通视频信号的编码效率。但该专利没有考虑三维视频的编码特点，不能很好地适用于三维视频编码。

目前，多视点视频编码技术还在不断地研究和应用之中，并且，多视点视频编码还进入了监控领域。针对监控视频的特殊性，如背景一般为长期静止的场景等等，多视点视频编码的压缩效率还能有较大的提升空间。

发明内容

有鉴于此，本发明的目的在于提供一种三维视频编解码方法及装置，用于提高三维视频的编码和压缩效率，特别是用于提升三维监控视频的编码压缩效率。

本发明的实施例提供了一种三维视频的编码方法，包括：

输入一帧图像，所述一帧图像包括同一时刻多个不同视点的图像纹理信息和深度信息，构成多个视点的深度像素图；

将各个视点的深度像素图映射到主视点上，并对主视点视图的图像大小进行扩展，所述主视点的选择按照预先约定；

通过运动目标检测方法从所述纹理信息中得到运动信息，利用深度信息和/或运动信息将映射后的深度像素图中所有深度像素点重建为一个背景图层图像及一个或一个以上前景图层图像，并对背景图层图像进行时域累积操作；

将所述背景图层图像及前景图层图像分别进行编码，其中深度信息和纹理信息分别编码，并在编码中实现图层间的相互参考。

本发明的实施例还提供了一种三维视频解码方法，包括：

获取待解码的输入码流；

对所述输入码流解析并熵解码，获取编码信息；

依次对背景图层图像及前景图层图像进行解码，得到各图层的重建图像，并生成各图层的参考图像；

根据所述各图层的重建图像和摄像机参数，生成指定视点的输出图像。

本发明的实施例还提供了一种三维视频的编码装置，包括：

视频输入单元，用于实现视频信号的采集或读入；

图层分解单元，用于将输入视频中的图像分解成前景图层图像和背景图层图像；