[发明专利]处理编码视频帧的序列的方法

说明书

背景技术

本专利申请的主题涉及处理编码视频帧的序列的方法。该处理方法允许以明确的方式在重放期间检索编码帧。

电视节目安排（programming）提供商通常产生用于由服务提供商（诸如有线电视系统运营商）通过视频传输网络分发到观看者的广大观众的节目安排信号。按照惯例，节目安排信号作为未压缩视频序列和至少一个相应的未压缩音频序列开始。本申请的主题涉及处理视频序列，并且相应地，我们将不进一步讨论音频序列。

未压缩视频序列由表示各图像的一系列连续帧组成，并且在产生设施处被组装。在组装之后，未压缩视频序列被视频编码器压缩，该视频编码器使用诸如一般地称为MPEG-2的视频压缩算法将每个帧编码，并且创建相应的压缩视频帧。该编码视频序列通过传输网络被发送至客户端，在客户端处，包括在接收终端中的视频解码器将用于所选节目的视频序列解码，并且将解码帧供应给电视机，用于向观看者呈现相应的图像序列。

MPEG-2视频压缩算法将未压缩视频帧编码为帧内编码帧或I帧、预测编码帧（P帧）或者双向预测编码帧（B帧）。I帧和P帧也称为参考帧或锚定帧，而B帧也称为相关帧（dependent frames）。I帧包含原始图片的完整描述。P帧包含与在时间上较早的I帧相比较的图片的描述。这允许编码器使用与等价I帧将需要的位相比明显更少的位来描述P帧。B帧包含与在时间上较早的参考帧和在时间上稍后的参考帧两者相比较的图片的描述。这允许编码器使用比等价I帧大约少了一个数量级的位来描述B帧。因此将认识到的是，P帧是相关帧（相对于I帧）和参考帧（相对于B帧）两者。

除包括表示捕捉的图像的数据之外，每个编码帧包括呈现时间戳。该呈现时间戳或PTS是由计数90kHz系统时钟信号的循环的计数器获得的计数的33位值。PTS值反映相对于系统时钟的帧的期望播出时间。

编码帧的序列被输入到系统编码器，系统编码器将编码帧封装在分组（诸如分组化的基本流分组，这对于本领域的技术人员而言是众所周知的）中，该分组能够通过适当的通信基础设施被高效地发送至包括视频解码器的接收终端。

一般地，旨在应当以与例如由照相机获取相应图像相同的顺序来呈现帧以进行显示。对于每个未压缩视频帧，视频编码器确定相应编码视频帧的适当类型和编码顺序中的编码帧的位置。编码器可以确定第一帧（F1）应被编码为参考帧（I或P）。在这种情况下，接下来的两个帧（F2、F3）正常地将被编码为B帧且第四帧（F4）将被编码为P帧。编码器将首先将帧F1和F4编码且然后使用编码帧F1和F4作为参考帧将帧F2和F3编码。编码器以序列F1、F4、F2、F3来发送帧。

让我们假设帧F1被编码为I帧。由于相关编码帧取决于至少一个参考帧，所以解码器必须在相关帧能够被解码之前将参考帧解码。因此，虽然编码帧按照编码顺序F1、F4、F2、F3被发送且随后被解码，但下游接收终端可能未简单地按照帧被接收到的顺序输出已解码帧。对于在序列中与其要被显示相比较更早地发送的编码帧而言，除PTS之外，系统编码器还相对于系统时间时钟将解码时间戳（DTS）插入编码帧的分组中。对于不需要重新排序的那些帧，DTS和PTS将是相同的，因此只有PTS被发送，并且PTS被用来确定解码时间。

接收终端以已知方式操作以生成被同步至编码器的系统时钟信号的系统时钟信号。具有最小功能的接收终端、诸如没有记录能力的简单机顶盒（STB)包括从分组化的基本流恢复编码视频帧的序列的接收器和接收编码视频帧、基于DTS来将帧缓冲并解码以及基于PTS将帧缓冲并呈现的视频解码器。

有线电视和卫星电视分发服务的许多订户使用结合了PVR（个人视频录像机）的更尖端接收终端来记录电视节目材料以用于稍后的重放和观看。在这种情况下，视频帧以编码形式被存储，并且在期望时以与上述简单STB所采用的方式类似的方式被解码和重放。

典型的PVR支持各种特效播放模式，包括快进（FF）和快退（RR），这允许观看者快速地浏览不很感兴趣的材料。PVR通过丢弃接收序列的帧、即通过将接收序列的帧从被解码并供应给视频显示缓冲器的序列省略来实现FF和RR重放。PVR以正常的恒定速率（在美国，即每秒约30帧）来显示帧，但是由于接收序列的帧被丢弃，所以显示的图像以比在正常重放中更大的速度进行。

被视频编码器压缩的未压缩视频序列可以包括穿插有补充内容块（例如一个或多个商业广告、公益广告、站台识别消息等）的特征内容，诸如重演电视节目的情节。在产生设施处，节目安排提供商使用常规视频编辑技术来以预定间隔向特征内容中插入补充内容块。