[发明专利]音视频和课件同步播放的方法及系统

权利要求书

1.一种音视频和课件同步播放的方法，其特征在于，应用于包括主播终端、服务器和观众终端的音视频和课件同步播放的系统，包括以下步骤：

S1，主播终端把从摄像头、麦克风中采集到的音视频信号通过WebRTC协议推流到服务器的音视频处理服务；

S2，音视频处理服务把接收到的WebRTC协议的流数据转成RTMP流，并输出到服务器的视频直播服务；

S3，视频直播服务接收到RTMP流，把音视频流数据转码成基于HLS协议的TS文件，并从RTMP流的SEI信息中读取时间戳，TS文件用时间戳命名发布在内容分发网络CDN中；

S4，观众终端的HLS播放器根据m3u8文件中的TS文件列表播放视频，并通过事件的方式往外部抛出播放的时间戳；

S5，主播操作课件时，主播终端的课件操作端收集操作指令，发送给服务器的操作指令队列；

S6，操作指令队列收到指令后，往指令中写入当前时间戳，保存进指令队列；

S7，观众终端的课件播放器收到HLS播放器抛出的时间戳通知后，从操作指令队列中获取这个时间戳之前的操作指令，根据操作指令顺序模拟操作课件。

2.如权利要求1所述的音视频和课件同步播放的方法，其特征在于，S2具体包括：

S201，音视频处理服务接收主播终端推送的音视频流；

S202，音视频流通过ffmpeg转码成每秒一个GoP；

S203，对于每个GoP，把当前的时间戳写入SEI中；

S204，转码完成后的GoP通过RTMP协议输出到视频直播服务。

3.如权利要求1所述的音视频和课件同步播放的方法，其特征在于，S4具体包括：

S401，从CDN中加载TS文件；

S402，解析TS文件名中的时间戳，以此为基准；

S403，每播放一段时间把时间戳累加相应的时间；

S404，把累加后的时间戳，通过事件抛出。

4.一种音视频和课件同步播放的系统，其特征在于，包括主播终端、服务器和观众终端，主播终端进一步包括音视频采集模块和课件操作端，服务器进一步包括音视频处理服务、视频直播服务和操作指令队列，观众终端进一步包括HLS播放器和课件播放器，

所述音视频采集模块用于将从摄像头、麦克风中采集到的音视频信号通过WebRTC协议推流到音视频处理服务；

所述音视频处理服务用于把接收到的WebRTC协议的流数据转成RTMP流，并输出到视频直播服务；

视频直播服务用于接收RTMP流，把音视频流数据转码成基于HLS协议的TS文件，并从RTMP流的SEI信息中读取时间戳，TS文件用时间戳命名发布在内容分发网络CDN中；

HLS播放器用于根据m3u8文件中的TS文件列表播放视频，并通过事件的方式往外部抛出播放的时间戳；

课件操作端用于在主播操作课件时收集操作指令，发送给操作指令队列；

操作指令队列用于收到指令后，往指令中写入当前时间戳，保存进指令队列；

课件播放器用于收到HLS播放器抛出的时间戳通知后，从操作指令队列中获取这个时间戳之前的操作指令，根据操作指令顺序模拟操作课件。

5.如权利要求1所述的音视频和课件同步播放的系统，其特征在于，所述音视频处理服务用于把接收到的WebRTC协议的流数据转成RTMP流，并输出到视频直播服务具体包括：

音视频处理服务接收主播终端推送的音视频流；

音视频流通过ffmpeg转码成每秒一个GoP；

对于每个GoP，把当前的间时间戳写入SEI中；

转码完成后的GoP通过RTMP协议输出到视频直播服务。

6.如权利要求1所述的音视频和课件同步播放的系统，其特征在于，HLS播放器用于根据m3u8文件中的TS文件列表播放视频，并通过事件的方式往外部抛出播放的时间戳具体包括：

从CDN中加载TS文件；

解析TS文件名中的时间戳，以此为基准；

每播放一段时间把时间戳累加相应的时间；

把累加后的时间戳，通过事件抛出。