[发明专利]一种基于IP网络的实时视频传输方法

说明书

技术领域

本发明涉及一种基于IP网络的视频传输技术，特别适用于QoS(服务质量)较差的网络环境，比如无线网络。 

背景技术

随着网络技术的发展，基于IP网络的视频监控逐渐成为安防领域发展的一个热点。利用现有的IP宽带网络，可以实现在现有IP网络上传输视频数据，而不用建设单独的视频线路。当前基于IP网络的视频传输在传输层主要使用UDP协议，应用层使用RTP协议，在网络服务质量(QoS)较好的情况能满足视频流的顺利传输。 

IP网络的服务质量主要包括延时、抖动、丢包、乱序四个方面。视频在传输前通常使用MPEG4/H.264等算法进行压缩，以减少传输时占用的网络带宽，在接收端进行解码并显示。在网络服务质量较差的情况下使用UDP/RTP协议来实现视频传输，接收端存在不能流畅播放视频的现象。具体表现在：抖动较严重的情况下会产生图像停顿或者时快时慢的现象；在丢包较严重的场合下，接收端的解码器不能正确解码视频流从而正确显示图像；传输层使用UDP协议会产生乱序，从而需要在接收端通过RTP协议进行报文重排序，需要较大的缓冲区并产生延时；目前已存在如下的一些技术解决方法： 

南京工业大学学报2004年11月(第26卷第6期)刊载《一种基于DirectShow的实时视频传输实现方法》一文介绍了使用directshow技术实现的基于IP网络的实时视频传输方法，但是在传输层选择使用UDP协议；在解决抖动方面也没有使用本专利提到的带覆盖的环形缓冲区技术；在客户端视频播放方面也没有采用基于反馈的时钟调节技术。 

类似的信息还包括： 

核电子学与探测技术2007年1月(第27卷第1期)刊载《基于directshow的Mpeg4网络视频流处理系统》一文，在接收端处理方面使用了环形缓冲区技术，但是没有采用覆盖技术，在网络抖动较大的情况下会产生较大的显示延时。 

自动化技术与应用2008年第27卷第2期刊载《基于directshow的视频传输系统的设计》一文，但是没有使用和本专利相冲突的技术。 

因此，现有技术存在有待改进和发展的空间。 

发明内容

本发明的目的在于使用TCP作为传输层协议，并通过优化缓冲区结构和视频接收时钟的方式来提高实时视频的整体传输效果。 

本发明的技术方案包括： 

一.发送端和接收端在传输层使用TCP协议，提高数据传输的可靠性； 

二.接收端以其中包括控制帧的图像帧为单位存放到接收缓冲区中，接收缓冲区以环形方式组织，在处理较慢的情况下可以使用最新的帧覆盖最过时的帧，保持数据的实时性； 

三.以directshow或gstreamer等作为多媒体框架，根据显示端的时钟反馈实时调节接收端视频帧的时间戳。 

本发明使用TCP协议作为传输层协议，有效提高视频传输的可靠性，解决网络传输的丢包和乱序问题，避免解码器出现不能正常解码的现象；以帧为单位将图像信息存放在环形缓冲区中，有效解决了延时和抖动问题；在接收端使用多媒体框架，根据显示过滤器的时钟反馈，实时调整接收过滤器的输出视频帧时间戳，使视频达到顺畅播放的效果。 

 附图说明

图1整系统结构图； 

图2网络传输报文结构； 

图3接收端缓冲区结构： 

图4接收端多媒体框架。 

 具体实施方式

下面通过一个实施案例，进一步说明本发明。 

整个系统主要包括两个大的组成部分：发送端和接收端(整系统结构见图1)；在发送端实现视频的实时采集，并使用MPEG4或H.264压缩算法进行视频压缩。发送端拥有固定的公网IP地址，在某个固定的TCP端口进行监听，等待来自客户端的视频请求，将压缩后的视频数据包含到TCP报文的内容部分并发送给接收端(网络报文结构图见图2)；如果发送端和接收端都没有固定的公网IP地址(比如通过NAT方式访问互联网)，则需要具有公网地址的第三方服务器实现数据中转。 

接收端通过directshow或gstreamer多媒体框架实现。在多媒体框架下，包含了用于实现视频接收、解码和显示的三个过滤器，如图4所示。多媒体框架的作用是协调各个过滤器的统一工作。在实现过程中，解码器可以采用现有的解码器，比如FFMPEG等，render可以采用操作系统默认的显示过滤器，接收过滤器需要单独编写； 

下面以windows平台下的多媒体框架directshow为例介绍接收过滤器的实现。