[发明专利]一种实时视频中音视频延时确定方法和系统

说明书

一种实时视频中音视频延时确定方法，包括：打开多点控制单元MCU延时确定功能，并按第一预设规则对当前正在处理的音视频流条数和音视频处理环节分别进行编号，用户上传相应参数，确定自身所需的延时测试需求；并储存各个环节中音视频处理信息，并在音视频数据各处理环节中设置相同的信息条数阈值k；对用户上传的参数进行解析，确定用户延时测试需求对应的音视频流序号和音视频指定处理环节，查询用户指定处理环节中存储的信息，匹配存储信息中帧序号相同的信息，并获取信息中的时刻值，将两个时刻值的差值作为此帧数据在指定环节间的延时结果；将延时结果发送给用户。本发明逻辑简单，易实现，操作便利，准确性高，实用范围广，无任何限制。

技术领域

本发明涉及的是音视频流媒体领域,特别涉及一种实时视频中音视频延时确定方法和装置。

背景技术

近年来，在网络和终端设备快速发展的推动下，实时视频通讯系统越来越受到人们青睐。实时视频通信系统主要由视频发送端、视频服务端和视频接收端三者构成，它是基于IP网络的图像、声音、文字交互系统，使世界各地的两人或多人实时音视频通讯成为可能。实时视频通信系统使用范围广，使用形式多样，如视频会议、视频群聊、网络主播互动、直播连麦等应用都会使用。在使用实时视频通信系统，特别是多人同时聊天或直播连麦时，能明显感受到通信双方间有延时，造成延时的原因有网络、多点控制单元MCU和视频播放端，通常情况下，多点控制单元MCU是造成延时的主因。

中国专利公开号为CN102158683A的专利中，介绍了一种视频延时的测试方法及计算机，专利主要思想是源终端发给多点控制单元MCU的视频数据记为第一报文，多点控制单元MCU发送给远程终端的视频数据记为第二报文，然后获取两个报文中的同一帧图像，并比对对应的时间信息，从而确定多点控制单元MCU的延时。然而，发明人发现，上述延时确定方法并不严谨，源终端到多点控制单元MCU和多点控制单元MCU到远程终端的网络延时均被算入多点控制单元MCU的延时，另外，多点控制单元MCU可能存在必要的视频丢帧，且视频中相邻两帧图像的区别很小，在获取两个报文中的同一帧图像时，并不能真正保证获取到的就是同一帧图像，有可能是将前后关系的两帧图像误认为是同一帧图像，而相邻两帧图像的时间间隔在16至40毫秒间不等，所以此专利介绍的延时确定方法误差较大。

中国专利公开号为CN109309831A的专利中，介绍了一种视频延时的测试方法及装置，专利主要思想是在多点控制单元MCU解码视频数据后和编码视频数据前，以水印或台标的方式为原始视频数据添加时间信息，在视频播放端播放带有时间信息的视频画面，从而获取了本帧图像画面的视频延时。然而，本发明人发现，上述延时确定方法并不严谨，时间信息只能在多点控制单元MCU解码视频后和编码视频前添加，漏算了视频解码和编码造成的延时，另外，时间信息的添加需要对视频图像进行大量数据修改，会人为引入时间延时，所以此专利介绍的延时确定方法不够精准。

中国专利公开号为CN110049379A的专利中，也介绍了一种通过添加时间信息水印来确定延时的方法。此方法的不足同专利CN109309831A。

还有一些中国专利公开的延时确定方法，普遍存在引入网络延时、多点控制单元MCU统计不完整造成延时偏小、获取同一帧视频图像不准确引入的帧间隔误差和视频数据添加时间信息引入人为延时等缺陷中的一个或多个。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种实时视频中音视频延时确定方法和系统。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

一种实时视频中音视频延时确定方法，包括：

S100.用户通过多点控制单元MCU的网络模块延时确定功能，获取多点控制单元MCU当前正在处理的音视频流条数，并按第一预设规则对当前正在处理的音视频流顺序和音视频处理环节分别进行编号；用户根据自身需求，上传相应参数，确定自身所需的延时测试需求；