[发明专利]一种实时流媒体上传中的丢帧控制与续传方法及系统

说明书

技术领域

本发明涉及一种实时流媒体上传中的丢帧控制与续传方法及系统，属于网络多媒体数据传输技术领域。

背景技术

当今，人们对于获得实时事件现场视频信息的需求越来越强烈。利用专业的新闻拍摄设备或手机、摄像头等便携拍摄设备可以实时捕获实时事件的现场信息，并将其快速传播给大众。如图1所示，这类系统通常都包含视频拍摄端和媒体服务器端两部分，由视频拍摄端将实时拍摄的内容及时上传到媒体服务器，通过媒体服务器向感兴趣的用户群体进行直播。同时，媒体服务器还必须将实时拍摄的视频进行存储，一方面作为备份，另一方面满足后续用户的点播需求。

然而，由于上传带宽受限（如通过3G网络进行上传）或上传过程中传输网络的拥堵问题，为保证直播的实时性，应允许视频拍摄端向媒体服务器实时上传视频流的过程中选择性地丢弃一些已于播放无益的视频帧（如超过预期播放时间点的视频帧）。通常，实时流媒体传输协议就是通过允许丢帧而达到实时播放的目的。但是另一方面，丢帧会降低直播画面的质量。如果不恢复这些丢弃的帧，那么媒体服务器所备份的视频也将是不完整的视频，后续用户的点播所观看到的内容将和直播用户的体验是一样的。相反，如果能恢复这些丢弃的帧，则能提升视频的画面质量，从而为后续的点播用户提供高质量的体验。

上述两个需求存在矛盾之处。一方面，实时的直播需求要求采用实时流媒体传输协议，这类协议一般直接基于UDP之上；另一方面，对存储完整性的要求则要求采用可靠的传输协议，如TCP，但TCP显然会降低视频传输的实时性。

发明内容

本发明所要解决的技术问题是基于背景技术的缺陷而提出的一种实时流媒体上传中的丢帧控制和续传方法与系统，一方面通过应用层选择性丢帧，并将丢弃的数据帧暂存在客户端续传队列，保证直播的实时性传输，另一方面通过将暂存在续传队列的视频帧通过新连接适时重传保证所存储的视频的完整性。

本发明为解决上述技术问题采用以下技术方案：

一种实时流媒体上传中的丢帧控制与续传系统，包括视频获取端和媒体服务器端；所述视频获取端用于实时获取视频场景数据，并以实时和续传两种方式向媒体服务器端上传视频数据帧，所述媒体服务器端用于接收视频获取端实时和续传的视频数据帧，并进行直播、存储和合并。

其中，⑴所述视频获取端包括：

a, 视频拍摄模块，用于实时获取视频场景数据，并标记预播放时刻；

b, 第一视频序列标识协商模块，用于和媒体服务器端协商生成每个视频帧序列的唯一标识；

c, 发送队列，用于存储预备发送的视频帧序列； 

d, 发送队列检测模块，用于检测发送队列中的视频数据帧是否位于发送窗口之内；

e, 实时视频上传模块，用于按序向媒体服务器端发送位于发送窗口内的视频数据帧；

f, 续传队列，用于存储因实时传输延迟导致的位于发送窗口外的视频数据帧；

g, 续传模块，用于在后续网络信道通畅时刻向媒体服务器端上传续传队列中的视频数据帧。

  ⑵所述媒体服务器端包括：

h, 第二视频序列标识协商模块，用于和视频获取端协商生成每个视频帧序列的唯一标识；

i, 实时视频接收模块，用于接收实时视频上传模块发送的实时视频数据帧；

j, 实时视频直播模块，用于将实时接收到的视频数据帧向需要的用户群进行直播；

k, 存储模块，用于将实时接收到的视频数据帧进行存储，按照与该视频数据帧相对应的唯一标识生成视频序列文件；

l, 续传接收模块，用于接收续传模块续传的视频数据帧；

m, 视频合并模块，用于根据视频帧序列的唯一标识，将接收到的续传视频数据帧和对应标识的视频序列文件进行合并，生成完整的视频序列文件。

本发明还提出一种实时流媒体上传中的丢帧控制与续传方法，该方法基于视频获取端和媒体服务器端；所述视频获取端用于实时获取视频场景数据，并以实时和续传两种方式向媒体服务器端上传视频数据帧，所述媒体服务器端用于接收视频获取端实时和续传的视频数据帧，并进行直播、存储和合并。

其中，视频获取端的工作流程包括：

步骤1，与媒体服务器端协商一个用于唯一标识每个视频帧序列的标识；

步骤2, 实时获得视频场景数据，并标记预播放时刻，同时将视频数据帧置入发送队列；

步骤3，在新视频帧序列到达时检测发送队列中的视频数据帧，将位于发送窗口外的过时视频数据帧置入续传队列； 

步骤4，按序向媒体服务器端发送位于发送窗口内的视频数据帧；