[发明专利]用于保护视频帧序列防止包丢失的方法

说明书

背景技术

本发明涉及一种用于保护视频帧序列防止随机和/或突发包丢失的方法，具体而言，涉及一种具有包丢失的IP网络中视频流保护的方法。

在现代世界中，由于基于IP的语音和视频(VVOIP)系统的使用扩展，可以观察到指数式的IP流量增长。在这样的条件下，网络容量不足会导致网络故障，例如，包丢失、时延和网络抖动，这大大降低了实时VVoIP系统中的视频和音频质量，尤其是对于通过IP网络的视频传输。最流行的现代视频编解码器，如H.264AVC、H.264SVC和HEVC使用差分编码算法，因此，即使在传输过程中丢失了单个视频帧，那么所有后续视频帧也不能被解码直至周期性INTRA帧接收。由于这一原因，即使是低网络包丢失也会导致强烈的视频质量下降。因此，针对具有包丢失的IP网络的视频流量保护算法开发是非常重要的问题。稳健的视频流量保护算法允许显著改善具有包丢失的IP网络中的视频质量。

现代的视频流包丢失保护算法应满足以下要求：使帧丢失后正确地解码视频帧之间的时间间隔最小化，允许包丢失后快速解码器状态恢复，使编码效率下降最小化，使帧速率下降最小化，避免在发射器和接收器侧引入额外时延，以及如果丢失帧无法被精确地恢复使恢复错误传播最小化。算法应保护视频流防止随机和突发包丢失，因为现代路由器可以使用不同的算法进行拥塞控制。

丢失包重传(NACK)在RFC4585中描述如下：“用于基于实时传输控制协议(RTCP)反馈的扩展RTP配置文件(RTP/AVPF)”是用于包丢失保护的最常用的方法。根据该方法，接收器检测到包丢失，并向发射器侧发送相应的否定确认。发射器基于该信息向接收器重新发送丢失包。该算法仅对于具有低往返时间和低包丢失概率的网络信道才是高效的。否则，它会引入显著的算法时延，因而显著地降低视频质量。该方法相对于视频编解码器而言是外部的，并且所请求信息的量不依赖于视频内容。相对于集成源和信道编码的方法而言，它降低了编码效率。前向纠错常用于具有大网络时延和抖动的网络中的丢失包恢复，但使用该方法用于视频流保护受到以下因素的限制：由于RTP包的短帧长每个视频帧被分别编码的情况下的低FEC效率，或由于若干视频帧通过一个码字编码的情况下的显著算法时延，以及使用RTP包交织情况下的长算法时延。

使用交织源编码的视频流包丢失保护的外部方法在源编码级增加冗余以用于帧丢失保护。图14示出用于交织源编码的流程图。根据图14，交织源编码引入了两个或更多个被独立编码的交织视频流1601、1602。如果由于包丢失视频流1601无法被解码，那么可以解码其它视频流1602并显示1603。所有的视频流可以在GOP时段后、当周期性INTRA帧到达后恢复。交织源编码是用于视频流包丢失保护的一种有效方法。它可用于随机和突发包丢失保护，但它具有以下缺点。即使一个独立数据流中的单个包丢失，那么该流也无法恢复直至周期性INTRA帧接收。在这种情况下，显示帧速率下降，并且两个正确解码帧之间的时间距离在接收器侧增大。在包丢失后，正确接收器状态只有在周期性INTRA帧接收之后才可以恢复，因此应充分经常地插入INTRA帧，结果，对于恒定比特率而言视频质量将降低。

由S.Wenger、G.Knorr、J.Ott和F.Kossentini在1998年11月的IEEE视频技术电路与系统会报第8卷第867至877页的“H.263+中容错性支持”中描述的视频冗余编码扩展了ISC算法。在该ISC算法中，根据图15，源视频流被分离成两个独立编码的交织视频流1701、1702。对于快速解码器状态恢复，引入了特殊的同步帧1703、1705。这些帧从两个视频流1701、1702预测，如果至少一个独立视频流未受破坏，这些帧就可以被解码。在同步帧后，从该帧预测独立视频流。相对于一般ISC算法，VRC算法允许减少解码器状态恢复时间。然而，VRC算法具有很多缺点。如果INTRA帧被用作同步帧，那么该算法具有与一般ISC算法相同的缺点。如果SP帧被用作同步帧，那么它应需要比INTRA帧更少的比特，但如果使用若干个视频帧流，那么同步帧将需要多得多的比特，因而同步帧编码效率将降低。另外，VRC算法对于同步帧丢失是敏感的。如果该帧丢失，那么所有后序视频帧流都无法被解码。只有前向预测被用于同步帧编码。相对于双向帧预测，它降低了编码效率。在包丢失后，视频解码器状态只有在同步帧接收后才能恢复。因此，相对于其它包丢失保护算法，它减少了解码器状态恢复时间。

发明内容

本发明的目标在于提供一种改进的用于保护视频帧序列防止包丢失的技术。