[发明专利]在多媒体系统终端回放中解决音视频不同步问题的方法

说明书

技术领域

本发明属于多媒体音视频图像处理技术领域，特别涉及一种在多媒体系统终端回放中解决音视频不同步问题的方法。

背景技术

随着通信业的快速发展，IMS(IP Multimedia Subsystem)多媒体系统中出现各种不同类型的终端，这些终端的实时音视频通讯固然重要，但是随着通讯备份需求的提出，终端的音视频回放功能也日益重要。

IMS多媒体系统中，录音录像服务器负责录制通讯过程中的音视频并保存成文件，在终端提出回放要求时，RTSP(Real Time Streaming Protocol)服务器对录制的文件进行流化，并通过网络把音视频流发送给终端供终端回放。终端回放一般都是直接按照RTSP服务器的流化结果进行音视频回放。这时，回放的过程中就有可能出现音视频不同步的现象，根本原因是有些终端在实时通讯时视频流的时间戳与每秒发送的视频帧数并不匹配，表现为每秒实际发送的视频帧数少于时间戳对应的每秒应该发送的视频帧数，这在实时通讯中并不会出现问题，但是在RTSP服务器重新流化的过程中却会出现音视频不同步的问题，因为RTSP服务器是根据时间戳信息来进行流化的，即回放的视频流会快于回放的音频流，视频流提前于音频流播放结束。

发明内容

针对上述现有技术的缺点，本发明提出一种在多媒体系统终端回放中解决音视频不同步问题的方法，其特征在于，具体步骤如下：

（1）根据录制的总时长和总视频帧数，计算视频平均帧率；

（2）打开一个定时器以备视频流的播放；

（3）直接播放RTSP服务器发送过来的音频流；

（4）缓存RTSP服务器发送过来的视频流；

（5）按照计算出的视频平均帧率定时进行视频流的播放；

（6）当终端回放结束，则结束进程；否则重复步骤（3）～（5），继续进行音视频流的播放。

当终端回放被暂停时，暂停音频流的播放，同时暂停定时器以停止视频流的播放；当终端回放暂停被取消时，则恢复定时器，接着重复步骤（3）～（5），进行音视频流的播放。

当终端在回放的过程中进度条被拖拽到时间点A，则为了保证时间点A的音视频同步，计算时间点A之前的一个能使音视频同步的时间点B，向RTSP服务器请求时间点B开始的视频流，缓存视频流，并按照视频平均帧率播放视频流；否则继续步骤（3）～（5），进行音视频流的播放。

所述时间点B的计算方式如下：

a）假设视频流开始到时间点A的时长为t1；

b）根据已知视频流携带的时间戳信息计算RTSP服务器发送视频流的实时帧率；

c）假设视频流开始到时间点B的时长为t2，其中，时间点B在时间点A之前；

d）保证拖拽进度条之后音视频同步的条件：t1*视频平均帧率=t2*实时帧率，即t2=(t1*视频平均帧率)/实时帧率，以此计算出时间点B。

发明的有益效果：

（1）本发明在终端回放时直接播放RTSP服务器发送过来的音频流，但是不直接播放视频流，而是首先缓存视频流，再根据录制的总时长以及总视频帧数计算视频平均帧率，按照此视频平均帧率进行视频流的播放，基本实现音视频的同步；

（2）拖拽进度条之后进行音视频同步的时间点的计算，保证音视频在进度条拖拽之后还能同步。

附图说明

图1为本发明中音视频的回放流程；

图2为拖拽进度条之后计算音视频同步的时间点的示意图。

具体实施方式

下面结合附图，通过具体实施方式进一步详细说明本发明。

如图1所示为本发明中音视频的回放流程，具体步骤如下：

（1）根据录制的总时长和总视频帧数，计算视频平均帧率；

（2）打开一个定时器以备视频流的播放；

（3）直接播放RTSP服务器发送过来的音频流；

（4）缓存RTSP服务器发送过来的视频流；

（5）按照计算出的视频平均帧率定时进行视频流的播放；

（6）当终端回放结束，则结束进程；否则重复步骤（3）～（5），继续进行音视频流的播放。

当终端回放被暂停时，暂停音频流的播放，同时暂停定时器以停止视频流的播放；当终端回放暂停被取消时，则恢复定时器，接着重复步骤（3）～（5），进行音视频流的播放。

其中的定时器的作用是每隔一段时间（一般是几十毫秒）播放一帧视频流，保证视频流能够与音频流同步。