[发明专利]音视频和课件同步播放的方法及系统

说明书

本发明公开了一种音视频和课件同步播放的方法及系统，其中方法包括：S1，主播终端把音视频信号推流到服务器的音视频处理服务模块；S2，音视频处理服务模块把流数据转成RTMP流，并输出到服务器的视频直播服务模块；S3，视频直播服务模块接收到RTMP流，把音视频流数据转码成基于HLS协议的TS文件，TS文件用时间戳命名发布在内容分发网络CDN中；S4，HLS播放器通过事件的方式往外部抛出播放的时间戳；S5，主播操作课件时，主播终端会收集操作指令，发送给服务器的操作指令队列；S6，操作指令队列收到指令后，往指令中写入当前时间戳，保存进指令队列；S7，观众终端的课件播放器收到HLS播放器抛出的时间戳通知后，根据操作指令顺序模拟操作课件。

技术领域

本发明属于计算机多媒体技术领域，具体涉及一种音视频和课件同步播放的方法及系统。

背景技术

HLS(HTTP Live Streaming)协议是一种基于HTTP协议的流媒体播放协议。由于主流的手机操作系统(安卓、IOS)都兼容HTTP协议，因此HLS能适配各种型号的移动端设备。

在教学直播场景中，流媒体和在线课件的同步播放是一种最基本的体验，应用场景如：老师在10点10分30秒的时候讲了一句话，同时做了一次在线课件的翻页，在学生端收听到老师讲话的时候，看到的课件也应自动翻页。但是，HLS协议本身只是音视频播放协议，无法完成课件和音视频的同步操作。

发明内容

本发明要解决的技术问题是提供一种音视频和课件同步播放的方法及系统，用于使得课件和音视频能保持在秒级以内的同步。

为解决上述技术问题，本发明采用如下的技术方案：

本发明实施例一方面提供了一种音视频和课件同步播放的方法，应用于包括主播终端、服务器和观众终端的音视频和课件同步播放的系统，包括以下步骤：

S1，主播终端把从摄像头、麦克风中采集到的音视频信号通过WebRTC协议推流到服务器的音视频处理服务；

S2，音视频处理服务把接收到的WebRTC协议的流数据转成RTMP流，并输出到服务器的视频直播服务；

S3，视频直播服务接收到RTMP流，把音视频流数据转码成基于HLS协议的TS文件，并从RTMP流的SEI信息中读取时间戳，TS文件用时间戳命名发布在内容分发网络CDN中；

S4，观众终端的HLS播放器根据m3u8文件中的TS文件列表播放视频，并通过事件的方式往外部抛出播放的时间戳；

S5，主播操作课件时，主播终端的课件操作端收集操作指令，发送给服务器的操作指令队列；

S6，操作指令队列收到指令后，往指令中写入当前时间戳，保存进指令队列；

S7，观众终端的课件播放器收到HLS播放器抛出的时间戳通知后，从操作指令队列中获取这个时间戳之前的操作指令，根据操作指令顺序模拟操作课件。

优选地，S2具体包括：

S201，音视频处理服务接收主播终端推送的音视频流；

S202，音视频流通过ffmpeg转码成每秒一个GoP；

S203，对于每个GoP，把当前的间时间戳写入SEI中；

S204，转码完成后的GoP通过RTMP协议输出到视频直播服务。

优选地，S4具体包括：

S401，从CDN中加载TS文件；

S402，解析TS文件名中的时间戳，以此为基准；

S403，每播放一段时间把时间戳累加相应的时间；