[发明专利]一种多视点视频信号的编码方法

说明书

技术领域

本发明涉及一种视频信号的处理技术，尤其是涉及一种多视点视频信号的编码方法。

背景技术

自由视点电视(FTV，Free-viewpoint Television)是具有先进的视觉媒体模式的三维视频系统之一，含有传统的二维视频系统所没有的视觉功能。FTV能够很好地满足用户从任意角度欣赏场景，体现到身临其境的感觉。这种新兴媒体的兴起，引起了国内外很多专家和学者的广泛关注，FTV的核心技术是多视点视频信号编解码和实时的虚拟视点图像绘制。国际标准化组织JVT(Joint Video Team，联合视频专家组)提出了MVD(multi-view video plus depth)的结构，即采用N个视点的彩色视频及彩色视频对应的深度视频信息来表达场景的三维信息以支持面向用户端虚拟视点绘制的三维视频系统。在MVD的结构中，彩色视频中的每幅彩色图像都含有相对应的深度图，深度图并不能直接用于显示，而是作为虚拟视点绘制的参数使用，这极大地增加了传输的数据量，从而给传输带宽带来了极大的压力。

为了能有效存储、传输主要由彩色视频及深度视频信息组成的多视点视频信号，并且在应用中实现视点间的自由切换、用户和系统之间的高效交互操作，必须对彩色视频和深度视频信息进行高效压缩，减轻传输带宽的压力。压缩性能可以从编码率失真性能和编码复杂度两方面来考虑。为了提高编码率失真性能，目前，很多FTV系统框架中的多视点视频信号编码压缩方法中采用了分层B帧(HBP，Hierarchical B Pictures)预测编码结构。HBP除了采用运动估计消除时间上的冗余外，还采用了视差估计来消除视点间的相关性空间冗余，能够对多视点视频信号进行较好的压缩。但由于深度视频和普通的彩色视频信息具有不同的特性，即一方面，在深度视频中，往往只包含灰度信息，而与之相对应的是，普通的彩色视频信息除了亮度信息以外，还反映场景中的色彩信息；另一方面，在场景中一个对象，即使在彩色视频具有丰富的纹理和色彩信息，在深度视频对应区域内的灰度变化却是平滑的。这些不同的特性决定了多视点深度视频和多视点彩色视频图像在编码时没有必要互相参考。因此在编码结构上，多视点彩色视频和多视点深度视频互相独立。图1a和图1b分别给出了基于HBP的多视点彩色视频与多视点深度视频的预测编码结构。在该预测编码结构中包含了I帧、P帧和大量的B帧。