[发明专利]一种多视点可伸缩编码框架

说明书

技术领域

本发明属于视频编码和处理领域，具体涉及多视点视频编码过程中的视点分层、空域分层及质量分层编码算法的研究。 

背景技术

现有的多视点视频编码框架，主要以提高编码效率为主，如图1所示。此编码结构将多个视点分为了I视点、P视点和B视点。I视点，采用标准的层次B帧编码方式，如图1中的视点0。P视点，关键图像(如t、t+8时刻的P₀)使用单向的视差预测编码；其余图像采用标准的层次B帧编码，如图1中的视点2、4。B视点，关键图像(如t、t+8时刻的B₁)使用双向的视差预测编码；其余图像使用双向的视差/运动联合预测编码，如图1中的视点1、3。 

虽然此预测结构较好的利用了视点内和视点间的信息冗余，生成的视频流可提供视点、时域的可伸缩能力。但是缺少空域、质量的伸缩性能，不能提供较好的分辨率和网络带宽的适应性。多个视点的联合预测结构抗传输差错的能力较低，尤其是I视点出错时，传输差错可能会扩散到全部视点中，造成视频质量的下降。P视点中关键图像仅使用单向视差估计预测，降低了多视点编码效率。B视点中非关键图像使用两个时域参考图像和两个视点间参考图像，编码复杂度较高。 

发明内容

鉴于现有技术的以上缺点，本发明的目的在于，研制一种多视点视频编码框架，使其提供可伸缩性的多视点视频流，可同时适用于不同视点数目、不同分辨率及带宽条件的立体显示终端。本发明的目的是通过如下的手段实现的： 

多视点可伸缩编码框架，对一个以上视点信息进行视频流传输编码，首先根据视点的重要程度，对多个视点进行分层，按其重要性依次分为I视点层、P视点层和B视点层，以实现视点数目的伸缩能力；然后根据立体显示终端对多视点视频图像的分辨率需求，对各个视点视频图像进行空域分层，以实现视点图像分辨率的伸缩能力；最后，根据立体显示终端的传输带宽条件，对各个视点的高分辨率空域层视频图像进行质量分层，从而实现视点视频质量的伸缩能力；具体编码框架构成方式如下： 

(1)根据立体显示终端需求，设置多视点编码层数，按照I视点层、P视点层、B视点层的顺序依次编码各个视点层。 

(2)设置每个视点层的空域分层数，从空域层0到空域层n依次编码；空域层0的图像分辨率最小，空域层n的图像分辨率最大。 

其中空域层0的编码方式 

A)I视点层采用基于关键参考帧的编码方式编码：根据关键参考帧选择策略判断待编码帧是否为关键参考帧；关键参考帧使用前一个I帧或者关键参考帧的重建图像为参考， 进行帧间预测编码；非关键参考帧使用层次B帧编码方式编码。 

B)P视点层以邻近的I视点层或P视点层同时刻同分辨率的重建图像为视点间参考图像，采用基于关键参考帧的编码方式编码；若视点间参考图像为I帧或关键参考帧，则P视点层的待编码为关键参考帧；关键参考帧编码：当视点间参考图像为I帧时，进行单向视差预测编码；当视点间参考图像为关键参考帧时，进行视差/运动联合预测编码；非关键参考帧使用层次B帧编码方式编码。 

C)B视点层以邻近的已编码视点层同时刻同分辨率的重建图像为视点间参考图像进行编码；若视点间参考图像为I帧或关键参考帧，使用双向视差预测编码；若视点间参考图像为非关键参考帧，使用层次B帧编码方式编码。 

采用如上的设计，本发明框架有效的利用了多视点视频编码的特征以及空域、质量分层编码的适应性优势，从而提供了一种视点数目、分辨率、质量均可根据用户需求、网络带宽任意伸缩的多视点视频流。同时将关键参考帧技术引入多视点可伸缩编码框架中，能够有效控制传输差错对多视点视频质量的影响。 

采用本发明，多视点视频编码器对获取的多视点视频序列按照多视点可伸缩编码框架进行分层编码，得到可伸缩的多视点视频流。按照编码结构依次得到I视点层各个空域层、各个质量层视频流；P视点层各个空域层、各个质量层视频流；B视点层各个空域层、各个质 量层视频流。依次传输到多视点视频服务器进行存储或转发。当有用户请求多视点视频流时，多视点视频服务器根据用户的网络带宽、指定的分辨率和视点数，从多视点码流中提取满足要求的子码流，打包传输给用户解码。用户接收到的视点编码层越多，可使用的多视点视频数目就越多；接收到的空域层越多，图像分辨率就越高；接收到的质量层越多，图像质量也就越好。如果是立体手机用户，只需接收两个视点层的低分辨率的视频流，就能满足其立体观看的需要。 

附图说明

图1是现有技术多视点视频编码框架构架图，