[发明专利]传输流和节目流的生成和处理方法及其装置

说明书

本发明公开了一种传输流和节目流的生成和处理方法及其装置。其中处理方法和装置能够解析传输流或节目流中的依赖关系标识信息，以获得主位流与知识位流之间的依赖关系，并根据所述依赖关系，以得到主位流及其参考的知识位流，并以知识位流中的知识图像作为参考图像对主位流中的图像进行解码。生成方法和装置能够将主位流及其依赖的知识位流作为基本流分包放入传输流分组包或节目流分组包，并在所述传输流分组包或节目流分组包中放入依赖关系标识信息以描述所述主位流所属的基本流和所述知识位流所属的基本流之间的依赖关系。本发明能够便捷兼容地实现主位流和知识位流之间的依赖关系描述，同时也不会浪费数据量。

技术领域

本发明属于图像或视频压缩、存储和传输技术领域，具体涉及传输流和节目流的生成和处理方法。

背景技术

1、传统视频编码方案

在现有视频序列处理中，为了使编码后的视频序列支持随机访问功能，视频序列被分割成多个具有随机访问功能的片段(简称为随机访问片段)，如图1所示，一个视频序列包括至少一个随机访问片段，每个随机访问片段对应一个显示时段并包括一幅随机访问图像以及多幅非随机访问图像，每个图像拥有各自的显示时间以描述该图像被显示或播放的时间。一个随机访问片段中的图像可以进行帧内编码，或者，参考该随机访问片段中的其他图像利用帧间预测进行编码，其中，被参考的图像可以是要显示的图像、或者不能显示的合成图像等。然而在现有技术中，一个显示顺序在随机访问图像之后的图像(不包括leadingpictures)只能参考该图像所属的随机访问片段中的其他图像，而不能参考该图像所属随机访问片段之前或之后的随机访问片段中的图像，如图1所示。具体的，有如下几种方式描述当前图像和候选参考图像之间的依赖关系：

在现有的视频编码方案(如H.264\AVC或H.265\HEVC)中，当前图像和候选参考图像之间的依赖关系由视频压缩层的参考图像配置集描述，其中参考图像配置集描述了参考图像与当前图像之间的编号差值。之所以在参考图像配置集中仅描述编号差值，是因为现有的视频编码方案中，候选参考图像与当前图像从属于同一个独立可解码的随机访问片段，且候选参考图像与当前图像只能使用同一种编号规则，例如按照时间顺序编号，因此根据当前图像编号和候选参考图像编号差值可以准确定位候选参考图像。如果参考图像和当前图像使用不同的编号规则，由于现有视频编码方案没有提供在码流中描述不同编号规则的方法，同样的编号差值会指向不同的候选参考图像，导致编解码器不能使用正确的候选参考图像。

在可伸缩视频编码方案(Scalable Video Coding，SVC)和多视点视频编码方案(Multiview Video Coding，MVC)中，如图2所示，在已有帧间预测(仅使用同层/同视点内的候选参考图像)的基础上，SVC/MVC使用层间/视点间预测为当前图像扩展了候选参考图像的范围，其中扩展的候选参考图像与当前图像拥有相同的编号(例如，相同时间戳)且不属于独立可解码片段的同一层级。SVC/MVC在视频压缩层使用层级标识描述不同层/视点的码流的依赖关系，并联合使用图像的同一编号描述层间/视点间图像的依赖关系。

在AVS2的背景帧技术中，如图3所示，编码图像和场景图像的依赖关系由视频压缩层中参考图像类型的标识来描述。具体的，AVS2使用标识描述特别的场景图像类型(即，G图像和GB图像)，并使用特定的参考缓存(即场景图像缓存)管理G/GB图像，同时，使用标识描述当前图像是否参考G/GB图像，并使用特定的参考图像队列构建方法(即，默认将G/GB图像放入参考图像队列的最后一个参考图像位)，最终，使得按照规则编号的当前图像能够参考不按照规则编号的候选参考图像(即GB图像)、或与当前图像使用同一规则编号但编号差值超出约束范围的候选参考图像(即G图像)。但该技术限制任意时刻场景图像缓存中只能存在一个候选参考图像，且该候选参考图像仍然与当前图像属于同一独立可解码片段。

2、基于知识库的视频编码方案

现有技术的上述机制会限制待编码图像的可用参考图像数量，不能有效提升图像编码和图像解码的效率。