[发明专利]一种H264码流分包传输方法及系统

说明书

技术领域

本发明涉及数据传输领域，更具体地，涉及一种H264码流分包传输方法及系统。

背景技术

随着IP网络技术和视频、音频编码技术的发展，H.264码流内容通过IP网络进行传输。公知的，数据在以太网中进行传输，如图1所示，以太网的最大传输单元（MTU）为1500字节，所以1个RTP包的最大载荷长度通常为1460字节。

已知，每帧H.264码流由多个NAL单元（网络抽象层单元）组成，而每个NAL单元的大小不一样。目前H.264码流较常使用的是RTP协议，通常是以每个NAL为单元按以下方式进行处理：（1）当1个NAL单元长度大于RTP包的最大载荷长度（1460Byte）时，需要将该NAL单元分为多个RTP包发送，使得每个RTP包的载荷长度不大于1460Byte；（2）当1个NAL单元长度小于等于1460Byte时，使用单个RTP包发送；（3）当1个NAL单元长度远小于1460Byte时，使用1个RTP包发送效率比较低，为了提高其发送效率，可以在1个RTP包的载荷中放置多个NAL单元，只要多个NAL单元不大于1460Byte即可。

如图2所示，每个NAL单元的结构包括NAL头部及原始字节序列载荷（RBSP：Raw Byte Sequence Payloads）构成，而NAL头部由F（1bit）、R（2bit）、T（5bit）组成。其中R是NAL单元重要性标识位，用来表示NAL单元的重要性，00表示NAL不重要，11表示NAL单元非常重要。

如图3所示，传输一般是按照NAL单元在码流中先后顺序从NALU1 ~ NALU7依次处理。这样就会出现NALU1的长度为432字节，远小于1460字节，但由于NALU2的长度比较大，不能合并，也不能和NALU4、NALU5、NALU6一起，组成1个RTP包，只能单独组成1个RTP包。而其NALU4、NALU5、NALU6三个NALU的总长度1015字节，依然有445字节剩余可以用于合并NALU1，即采用NAL单元顺序依次处理，还可以提高发送效率。

而由于RTP包是非可靠连接，在发送过程中会存在丢包现象。如图3所示，当因三个NAL单元（NALU4、NALU5、NALU6）远小于RTP载荷最大单元组成1个RTP包时，当丢失该包时，在解码时，会导致非常重要的NAL单元（NALU5）和不重要的单元（NALU4、NALU6）一起丢失。这样其实，并没有充分利用NAL头部的重要标志位。

有技术提出按照重要性由高到低重排NAUL单元，并对NAUL单元按重要性进行RTP分组，并依重要性从高到低进行串行发送；该方式能在一定程度上提高视频传输效率，但该方式仍然存在数据包丢失的可能。

发明内容

为了解决上述问题，本发明首先提出一种H264码流分包传输方法，该方法有效的利用了NAL单元的重要性，在保证最重要的包尽可能不丢失的前提下，提高RTP包发送效率。

本发明的又一目的是提出一种H264码流分包传输系统。

为了实现上述目的，本发明的技术方案为：

一种H264码流分包传输方法，包括以下步骤：

在发送端，对每帧H.264码流中所有NAL单元进行重要性分析，并依据NAL单元的重要性进行RTP分包，NAL单元的重要性包括3类，分别为重要、一般重要、不重要，则RTP包也包括3类，分别为重要、一般重要、不重要；为不同重要性的RTP包分别建立专用线程，根据RTP包的重要性，在对应专用线程中一次或n次重复发送RTP包到接收端，n≥2；

在接收端，将接收到的各重复的RTP包丢弃至保留一个RTP包，对保留的RTP包和不重复RTP包进行解码获得视频数据。

本发明首先分析每帧H.264码流所有NALU的重要性，并依据NALU重要性进行RTP分包。然后，为不同的重要性的RTP包分别建立线程进行发送处理。为了避免重要性最高的NAL单元的RTP包丢失，会使用一个线程专门处理发送，且每个包会重复发送多次。而重要性稍低（一般重要）的NAL单元的RTP包发送，使用另外一个专用线程处理，每个RTP包重复发送多次。而重要性最低（不重要）的NAL单元的RTP包，则使用第三个专用线程处理，该线程对每个RTP包发送1次或多次。这样会在利用NAL单元重要性保证最重要的包尽可能不丢失的前提下，提高RTP包发送效率。

一种H264码流分包传输系统，包括：