[发明专利]直播时的音视频同步方法、存储介质、电子设备及系统

说明书

本发明公开了一种直播时的音视频同步方法、存储介质、电子设备及系统，涉及视频流的音视频同步领域。该方法的步骤为：客户端在直播时，捕获视频影像和音频；客户端记录捕获到视频影像的时间Tv、以及捕获音频的时间Ta，Ta＞Tv；客户端对视频影像和音频进行编码，形成视频，在编码过程中设置视频影像时间戳Tvi和音频时间戳Tai：Tvi＝T‑Tv，Tai＝T‑Ta；其中T为自定义时间，T在Ta之前；客户端根据视频影像时间戳Tvi播放视频影像，根据音频时间戳Tai播放音频。本发明能够在直播过程中始终保持音频和视频影像同步播放，显著提高了直播质量，非常适于推广。

技术领域

本发明涉及视频流的音视频同步领域，具体涉及一种直播时的音视频同步方法、存储介质、电子设备及系统。

背景技术

随着直播行业的快速发展，观看直播的用户越来越多，直播时视频的音视频同步(即声音和视频影像同步)是衡量直播质量的重要标准。下面分别对视频、音频做出解释。

视频包括视频文件和视频流：

视频文件：视频文件为利用相关的视频编码器和音频编码器，对原始的视频影像和声音按照相关的参数(视频的分辨率、帧率、比特率；音频的采样率、声道数)进行编码后，将编码后的数据按照相关的文件格式(mp4格式、flv格式等)存储的文件。

视频流：视频流类似视频文件，同样是利用编码器对原始的视频影像和声音进行编码；只不过视频流不是将编码后数据存储为文件，而是通过网络协议将编码后的数据进行打包，形成符合传输格式的数据后，通过网络进行传输。网络协议为RTMP(Real TimeMessaging Protocol，实时消息传输协议)、RTSP(Real Time Streaming Protocol，实时流传输协议)等。

音频：

音频是计算机可识别的一种数字信号，音频最重要的几个属性包括采样率、声道和采样格式。采样率表示每秒中有多少个采样数据，通常有44100HZ、48000HZ的采样率；声道表示一个采样数据中有几个样本数据，通常有单声道(一个采样就只有一个样本数据)、双声道(一个采样中有两个样本数据)和多声道(一个采样中有多个样本数据)；采样格式表示为每个采样数据的大小，通常有16bits的两字节格式以及4字节的浮点格式。那个一个44100HZ，单声道，16bits格式的音频，一秒钟内的音频字节数就是44100*1*2也就是88200个字节；一个44100HZ，双声道，16bits格式的音频，一秒钟内的音频字节数就是44100*2*2也就是176400个字节。

目前，直播时进行音视频同步的方法一般为：开始直播时，捕获视频影像和音频后编码形成视频，在编码时对视频影像设置视频影像时间戳，对音频和视频影像设置相同的时间戳(例如均为3s)。通过视频解码器和音频解码器对视频进行解码，得到编码之前的原始视频影像和音频、以及时间戳，在时间戳过后分别播放解码后的视频影像和音频。在时间戳过后播放视频的目的为：为捕获视频影像和音频的预留缓冲时间，进而保证视频播放的流畅。

但是，捕获音频时，因为直播时的音频来源为直播设备(例如电脑、移动终端等)的声卡和直播麦克风的声音数据，所以捕获音频时必然会存在延时，也就是音频从产生(直播设备和麦克风产生的声音数据)到捕获的时间。因此，在捕获音频存在延时、但捕获视频影像为即时捕获(即不存在延时)时，音频和视频影像无法同步捕获(存在延时的音频比视频慢)，进而使得根据捕获的音频和视频影像形成的视频，为音视频不同步的视频，该视频采用相同的时间戳播放，必然会出现音视频不同步(先播放视频影像，后播放音频)的情形。

发明内容

针对现有技术中存在的缺陷，本发明解决的技术问题为：如何在直播时保持音视频同步，本发明能够在直播过程中始终保持音频和视频影像同步播放，显著提高了直播质量，非常适于推广。

为达到以上目的，本发明提供的直播时的音视频同步方法，包括以下步骤：