[发明专利]帧类型的检测方法和装置

说明书

技术领域

本发明涉及视频处理技术领域，特别涉及帧类型的检测方法和装置。

背景技术

视频编码标准中的可解码数据帧类型可分为帧内编码帧(I-Frame，Intra coded frames，I帧)、单向预测编码帧(P-Frame，Predicted frames，P帧)、双向预测编码帧(B-Frame，Bi-directional predicted frames，B帧)。在视频应用中，I帧作为可解码的起始，一般称为随机接入点，可提供随机接入以及快速浏览等服务。在传输过程中，不同的帧类型出错，对解码端的主观质量的影响是不同的，I帧具有截断误差传播的作用，因此，如果I帧出错，则对整个视频的解码质量影响极大；P帧往往会作为其他帧间编码帧的参考帧，其作用次于I帧；由于B帧通常不做为参考帧，其丢失对视频解码质量影响较小。因此，在视频传输应用中区分数据流的不同帧类型有非常重要的意义，比如：作为视频质量评估的重要参数，帧类型判断的准确性直接影响到评估结果的准确性；可以对视频中不同类型的帧进行不等差保护来实现视频的有效传输，另外为了节省传输资源，在带宽不足时可以丢弃一些对主观质量影响不大的帧。

常用的流传输技术主要为互联网流媒体联盟(Internet Streaming Media Alliance，ISMA)方式和活在网际协议上的动图像专家组传输流(Moving Picture Expert Group-2 Transport Stream over Intet PetProtocol，MPEG-2 TS over IP)方式，这两种协议方式在将压缩视频数据流进行封装时，都设计了能指示视频数据类型的指示位。ISMA方式是将压缩视频数据流直接采用实时传输协议(Real-time Transport Protocol，RTP)进行封装，其中MPEG-4 Part2遵循互联网标准3016(Request For Comments 3016，RFC3016)，H.264/听觉和视觉信号编码(Aural and Visual Code，AVC)遵循RFC3984，以RFC3984为例，RTP头部包含的序列号(Sequence Number)、时间戳(Timestamp)等可以用来判断丢帧以及帮助检测帧类型；MPEG-2 TS over IP方式也分两种：用户数据报文协议/IP上的传输流(TS over User Datagram Protocol/IP，TS overUDP/IP)和实时传输协议/UDP/IP上的传输流(TS over Real-time Transport Protocol/UDP/IP，TS over RTP/UDP/IP)，在视频传输中比较常用的是TS over RTP/UDP/IP(后面简称TS over RTP)，是将压缩视频数据流封装为基本流，进一步将基本流划分为TS分组，最后对TS分组用RTP进行封装并传输。

RTP是针对多媒体数据流的一种传输协议，负责提供端到端的实时数据传输，其报文主要包括四个部分：RTP头，RTP扩展头，净载头，净载数据。RTP头中的包含的数据主要有：序列号、时间戳、标志位等。序列号与RTP包一一对应，每发送一个包增加1，可用于检测丢包；时间戳可表示视频数据的采样时间，不同的帧会有不同的时间戳，可指示视频数据的播放顺序；标志位则用来标识一帧的结束。这些信息是帧类型判断的重要依据。

一个TS分组有188个字节，由分组首部、可变长度适配头和净负荷数据组成，其中分组首部的起始指示位(payload unit start indicator，PUSI)表示净负荷数据是否包含打包的分组流(Packet Elementary Stream，PES)包头或节目特殊信息(Program Special Information，PSI)。对于H.264媒体格式，每个PES包头预示着一个NAL单元的开始。TS分组自适应区段中的一些标志位，如：随机接入指示(random access indicator)、基本流优先级指示(elementary stream priority indicator)，可以用来判断传输内容的重要性，对于视频而言，随机接入指示为1表示随后遇到的第一个PES包中包含序列开始信息，基本流优先级指示为1表示该TS分组负载内容有较多的Intra块数据。