[发明专利]一种基于HTML5的不同帧率音视频的同步方法及装置

权利要求书

1.一种基于HTML5的不同帧率音视频的同步方法，其特征在于，所述方法包括：

从服务端接收视频流和音频流；

基于采样率对音频流中包含的音频帧数据按照固定时长进行播放；

实时监测视频帧帧率，以音频帧数据的播放时长为基准，调整每帧视频数据的播放时长，实现不同帧率音视频的同步，具体包括：

记录视频帧数据之间的时间间隔，实时监测视频帧帧率；

根据实时监测的视频帧帧率和音频帧播放的时间单元数，确定视频帧的封装时间长度，并根据视频帧的封装时间长度调整每帧视频数据的播放时长，实现不同帧率音视频的同步；

其中，基于采样率对音频流中包含的音频帧数据按照固定时长进行播放，包括：

基于预设封装规则对接收的视频流和音频流分视轨音轨进行封装，设置音频帧的封装参数，对音频流中包含的音频帧数据按照固定时长进行播放；

封装参数包括时间单元数和封装的音频帧的时间长度，设置音频帧的封装参数，对音频流中包含的音频帧数据按照固定时长进行播放，包括：

根据音频的采样率计算当前音频帧的播放时间；

确定音频帧播放的时间单元数；

根据当前音频帧的播放时间和音频帧播放的时间单元数，确定封装的音频帧的时间长度，并根据封装的音频帧的时间长度对音频流中包含的音频帧数据进行播放。

2.如权利要求1所述的方法，其特征在于，从服务端接收视频流和音频流，包括：

采用websocket从服务端接收h264视频流和aac音频流。

3.如权利要求1所述的方法，其特征在于，记录视频帧数据之间的时间间隔，实时监测视频帧帧率，包括：

根据音频帧播放的时间单元数和视频帧帧率计算出封装的视频帧的时间长度，并以音频帧播放的时间单元数和封装的视频帧的时间长度对视频帧进行封装；

记录当前视频帧的时间戳和上一视频帧的时间戳，根据两个视频帧的时间戳差值得到当前视频帧的帧率。

4.一种基于HTML5的不同帧率音视频的同步装置，其特征在于，所述装置为浏览器Video标签播放器，包括：

接收模块，用于从服务端接收视频流和音频流；

音频播放模块，用于基于采样率对音频流中包含的音频帧数据按照固定时长进行播放；

视频播放模块，用于实时监测视频帧帧率，以音频帧数据的播放时长为基准，调整每帧视频数据的播放时长，实现不同帧率音视频的同步，具体包括：

记录视频帧数据之间的时间间隔，实时监测视频帧帧率；

根据实时监测的视频帧帧率和音频帧播放的时间单元数，确定视频帧的封装时间长度，并根据视频帧的封装时间长度调整每帧视频数据的播放时长，实现不同帧率音视频的同步；

其中，音频播放模块具体用于：

基于预设封装规则对接收的视频流和音频流分视轨音轨进行封装，设置音频帧的封装参数，对音频流中包含的音频帧数据按照固定时长进行播放；

音频播放模块还用于：

根据音频的采样率计算当前音频帧的播放时间；

确定音频帧播放的时间单元数；

根据当前音频帧的播放时间和音频帧播放的时间单元数，确定封装的音频帧的时间长度，并根据封装的音频帧的时间长度对音频流中包含的音频帧数据进行播放。