[发明专利]一种基于H264的多路视频会议系统的抗误码方法及系统

说明书

本发明提供一种基于H264的多路视频会议系统的抗误码方法及系统，方法包括把H264视频编码器配置成N个线程并行编码模式；建立参考图像标志位列表，每个H264视频编码器对应一个唯一的长度为M×N的参考图像标志位列表；参考图像标志位列表接收H264视频编码器输出的编码码流和参考信息，参考信息为IP帧的帧号和slice图像；发送方客户端把视频码流打包成RTP包进行发送；接收方客户端接收RTP包并判断RTP包序号是否连续、CRC校验是否正确；H264视频解码器收到序号连续、CRC校验正确的RTP包的视频码流，并对视频码流进行解码。本发明把视频编解码和RTP传输统一考虑，降低了抗误码功能对视频解码器的依赖性和开发成本，降低了会议整体延时，避免了插入关键帧的码率增大。

技术领域

本发明属于信息技术领域，特别是涉及一种多路网络视频会议中的抗误码视频处理方法及系统。

背景技术

近年来，互联网、移动互联网、多媒体技术等都获得了快速发展，具有较好实时性和交互性的网络视频会议也得到了越来越广泛的应用。视频会议终端扩展到了手机、平板电脑、个人计算机等多种类型，视频质量面临着越来越高的要求，并且正逐渐成为各个厂商相互比拼的热点之一。

在网络视频会议系统中，各个终端一般处于不同的地点，终端之间的视频通话要经过互联网或移动互联网进行传输。然而网络通信一般都不能保证传输过程完全可靠，这就需要依靠一些技术手段来保证视频通信质量。目前，在视频编解码层面、码流传输层面、应用层面等都出现了很多新技术和新方法。

在编解码层面，H264编码器采用了数据分割、帧内编码、宏块级帧场自适应MBAFF、宏块重排FMO、长参考帧以及SP/SI帧技术等。当误码错误无法恢复时，可以使用错误隐藏技术来改善解码后的图像质量，但是这种改善无法恢复到原有的图像质量。另外，网络视频会议的特性限制了很多延迟大、复杂度高的抗误码技术的使用。

在码流传输层面，网络视频会议大多采用基于UDP协议的RTP/RTCP传输视频流，并采用冗余传输、错误检测和重传等技术来保证传输的可靠性。

近来，为了适应更加复杂的网络传输环境，满足网络视频会议的低延迟等特性，把视频编解码和视频码流传输结合起来设计整体抗误码方案，可以获得较好的效果。例如，在码流丢包时插入关键帧的实时流媒体丢包处理方案，根据解码器宏块错误信息反馈来灵活选择编码宏块的参考图像的方案，使用多个子序列并行独立编码和传输的方案，均获得了一定效果。

现有的技术方案或产品一般存在如下的问题：

(1)在工程应用中，直接解码带有错误的视频码流，容易导致没有容错能力的视频解码器崩溃；网络视频会议的终端一般要支持多种不同的软件解码器、硬件解码器。逐个开发解码器的容错功能，一方面开发成本较高，另一方面将很难使用终端平台的通用硬件解码器来降低终端功耗和解码时间。

(2)现有H264协议所述的抗误码机制和算法并不能保证码流传输的可靠性，他们只是为缓解码流传输错误出现几率提供了一些可选的工具和算法，并且很多工具和算法的实现复杂度较高，对编码处理器要求较高。

(3)网络视频会议对延时比较敏感。如果在解码器模块处理码流错误并反馈错误信息，会增加会议系统的整体延时。

(4)对于RTP层的视频码流错误检测和重传机制，如果重传次数太多则会加重网络负载和系统延时；如果重传次数少很难保证码流的完整性，只能依靠插入关键帧来保证视频帧的连续性，但是插入关键帧会导致码率突然增大，恶化网络传输环境。

因此，有必要提出一种新的技术方案。

发明内容

针对上述问题，本发明提出一种基于H264的多路视频会议系统抗误码方法及系统，把视频编解码和RTP传输统一考虑，降低了抗误码功能对视频解码器的依赖性和开发成本，降低了会议整体延时，避免了插入关键帧的码率增大。