[发明专利]一种多路数字流同步方法、装置、系统及存储介质

说明书

本发明实施例公开了一种多路数字流同步方法、装置、系统及存储介质，所述方法包括：对多路数字流进行采样，采集终端保证相同的采样率；采样后在送入编码器之前对采集样本打上绝对时间戳，作为采样的唯一标识；服务端为每路数字流创建一个缓存队列，缓存队列的长度超过数字流长度；对将要同步的数字流的流名称以特定关系进行对应，根据缓存策略将数字流存储在缓存队列中，通过设立flag标志来标识数字流中的帧是否已同步；利用同步算法找到将要同步的数字流中的同步帧，根据同步帧对数字流进行同步；客户端对同步后的数字流进行缓存，在客户端对同步的数字流进行业务处理。本发明解决了现有多路数字流不能同步的问题。

技术领域

本发明实施例涉及数字音视频处理技术领域，具体涉及一种多路数字流同步方法、装置、系统及存储介质。

背景技术

随着多媒体及AI技术的高速发展，人们对复杂媒体有了更高的需求，多媒体已经逐渐成为人们获取信息和传递信息的重要途径，并且能够通过网络媒体进行自主学习。因此，从多源流媒体中获取两路或者两路以上流媒体数据同步播放并以特定方式表现或分析处理，能够进一步提高媒体表现力、提升获取有用信息的能力。

目前，在直播或多用户视频通话等涉及多路音视频流的实时视频场景中，需要将多路音视频流合成为一路视频，使用户终端能够同时显示多个用户的音视频画面。终端通过一个传输通道将多路视频流上传给服务器，以及从另一个传输通道将每路视频流的布局信息传输给服务器。服务器根据每路视频流的布局信息将这多路视频流合成为一路视频，然后将合成的视频发送给用户终端。不同传输通道来传输音视频流及其对应的布局信息，由于丢包等因素影响容易存在服务器接收不到布局信息的情况，进而导致服务器无法根据终端侧设置的布局信息进行合流。并且不同协议的音频或视频的帧率不同，中间过程帧率还会发生改变，不易采用固定一种方式播放。

发明内容

本发明实施例的目的在于提供一种多路数字流同步方法、装置、系统及存储介质，用以解决现有多路数字流不能同步的问题。

为实现上述目的，本发明实施例主要提供如下技术方案：

第一方面，本发明实施例提供了多路数字流同步方法，该方法包括：对多路数字流进行采样，采集终端保证相同的采样率；

采样后在送入编码器之前对采集样本打上绝对时间戳，作为采样的唯一标识；

服务端为每路数字流创建一个缓存队列，缓存队列的长度超过数字流长度；

对将要同步的数字流的流名称以特定关系进行对应，根据缓存策略将数字流存储在缓存队列中，通过设立flag标志来标识数字流中的帧是否已同步；

利用同步算法找到将要同步的数字流中的同步帧，根据同步帧对数字流进行同步；

客户端对同步后的数字流进行缓存，在客户端对同步的数字流进行业务处理。

进一步地，所述多路数字流采样过程中对各采集终端的时间进行同步，直至各端时间误差不超过式中video_sample_rate为采样率，若各采集终端的采样率不同，则时间误差以最大采样率为准。

进一步地，所述各采集终端的时间同步方法为：

将采集终端的时间与服务器时间进行比对，采集终端向服务器发送时间同步请求；

服务器将时间发送至采集终端，采集终端根据服务器发送的时间与其进行同步，通过多次同步，使时间误差不超过

进一步地，所述将要同步的数字流的流名称以特定关系进行对应，对应规则为：不同的数字流的名称包括主名称和副名称，对将要进行同步的数字流的主名称命名为同一名称，副名称命名不同以进行区别，将主名称相同的数字流进行匹配对应。

进一步地，所述缓存策略为：利用求余算法查找帧数据的存储位置，在存储位置对帧数据进行储存；