[发明专利]一种实时视频中音视频延时确定方法和系统

权利要求书

1.一种实时视频中音视频延时确定方法，其特征在于，包括：

S100.用户通过多点控制单元MCU的网络模块打开延时确定功能，获取多点控制单元MCU当前正在处理的音视频流条数，并按第一预设规则对当前正在处理的音视频流和音视频处理环节分别进行编号；用户根据自身需求，上传相应参数，确定自身所需的延时测试需求；

S200.记录模块记录并储存各个环节中音视频处理信息，包括：当前帧的帧序号和处理完的系统时刻；并在音视频数据各处理环节中设置相同的信息条数阈值k，判断各个环节中已存储的信息条数是否等于阈值k；S200的具体方法为：

S201：当多点控制单元MCU中的记录模块被测试用户唤醒后，每个音视频数据处理环节中的记录模块独立记录本环节帧数据处理情况，每个环节处理的帧序号从1开始，单调递增，记录模块存储的信息包含帧序号和帧数据处理结束的系统时刻；

S202：S201每新生成一条信息，记录模块会获取本环节已存储的信息条数，并与S200中设置的阈值k做比较；

S203：当记录模块中已存储的信息值未到k时，直接存储当前生成的这条信息；记录模块已存储了k条信息时，删除已存储信息中的第一条信息，将新生成的信息进行存储；

S204：当某个数据处理环节中的记录模块收到了同一条媒体流的其它环节发送的丢帧或帧数据处理异常信号，一同收到的还有丢帧或帧数据处理异常的帧序号n；

S205：收到通知的记录模块会删除帧序号n对应的存储信息，并更新已存储信息中帧序号大于n的信息，更新内容是重新为帧序号赋值，保证删除信息后，剩余信息中的帧序号连贯，同时，记录模块中用于累计已处理数据帧的标记值减1；

S300.对用户上传的参数进行解析，确定用户延时测试需求对应的音视频流序号和音视频指定处理环节，统计模块查询用户指定处理环节中存储的信息，匹配存储信息中帧序号相同的信息，并获取信息中的时刻值，将两个时刻值的差值作为此帧数据在指定环节间的延时结果，并将延时结果发送给网络模块；S300的具体方法为：

S301统计模块根据测试用户指定的延时确定参数，查询对应环节中记录模块存储的信息；

S302：统计模块先查询测试用户指定的起始环节中的存储信息，从存储信息中的第一条开始，获取信息中帧序号n和信息中系统时刻T1，再在测试用户指定的终止环节中查询帧序号为n的信息，并获取信息中系统时刻T2，T2与T1的差值T便是测试用户需要的延时确定值；

S303.统计模块将延时确定结果发送给网络模块；

S400.网络模块接收统计模块发送的延时结果，并将延时结果发送给用户。

2.如权利要求1所述的一种实时视频中音视频延时确定方法，其特征在于，对视频处理环节分别进行编号的第一预设规则为：将视频处理环节中的视频数据接收、视频数据解码、视频数据丢帧、视频数据缩放、视频数据合成、视频数据合成后缩放和视频数据编码发送按递增顺序编号为1到7。

3.如权利要求1所述的一种实时视频中音视频延时确定方法，其特征在于，对音频处理环节分别进行编号的第一预设规则为：将音频处理环节中的音频数据接收、音频数据解码、音频数据重采样、音频数据混音、音频数据编码发送按递增顺序编号为1到5。

4.如权利要求2或3所述的一种实时视频中音视频延时确定方法，其特征在于，用户上传参数的规则为：首先确定音视频类型，其中1表示视频，0表示音频；然后确定具体的音频或视频编号；最后确定需要测试的视频或音频处理环节的起止编号。

5.如权利要求1所述的一种实时视频中音视频延时确定方法，其特征在于，S200中，当各个环节中已存储的信息条数等于阈值k时，先删掉已存储的第一条信息，然后再存储当前生成的这条信息；若小于阈值k时，直接存储当前生成的这条信息。

6.如权利要求2所述的一种实时视频中音视频延时确定方法，其特征在于，当视频数据丢帧环节出现丢帧时，视频数据丢帧环节会通知在它之前的视频数据接收环节和视频数据解码环节具体的丢帧编号，使视频数据接收环节和视频数据解码环节删除并更新已存储的信息。

7.一种实时视频中音视频延时确定系统，其特征在于，包括：网络模块、记录模块和统计模块；其中：

网络模块，用于为用户提供测试用户能访问的接口，开启多点控制单元MCU的延时确定功能；用于对测试用户传入的参数进行解析，判断用户传入的参数是否满足要求；还用于接收统计模块发送的延时确定结果，并将延时确定结果发送给用户；

记录模块，用于记录并储存各个环节中音视频处理信息，包括：当前帧的帧序号和处理完的系统时刻；并在音视频数据各处理环节中设置相同的信息条数阈值k，判断各个环节中已存储的信息条数是否等于阈值k；其中记录模块工作的方法为：

S201：当多点控制单元MCU中的记录模块被测试用户唤醒后，每个音视频数据处理环节中的记录模块独立记录本环节帧数据处理情况，每个环节处理的帧序号从1开始，单调递增，记录模块存储的信息包含帧序号和帧数据处理结束的系统时刻；

S202：S201每新生成一条信息，记录模块会获取本环节已存储的信息条数，并与S200中设置的阈值k做比较；

S203：当记录模块中已存储的信息值未到k时，直接存储当前生成的这条信息；记录模块已存储了k条信息时，删除已存储信息中的第一条信息，将新生成的信息进行存储；

S204：当某个数据处理环节中的记录模块收到了同一条媒体流的其它环节发送的丢帧或帧数据处理异常信号，一同收到的还有丢帧或帧数据处理异常的帧序号n；

S205：收到通知的记录模块会删除帧序号n对应的存储信息，并更新已存储信息中帧序号大于n的信息，更新内容是重新为帧序号赋值，保证删除信息后，剩余信息中的帧序号连贯，同时，记录模块中用于累计已处理数据帧的标记值减1；

统计模块，用于查询用户指定处理环节中存储的信息，匹配存储信息中帧序号相同的信息，并获取信息中的时刻值，将两个时刻值的差值作为此帧数据在指定环节间的延时结果，并将延时结果发送给网络模块，其中，统计模块工作的方法为：

S301统计模块根据测试用户指定的延时确定参数，查询对应环节中记录模块存储的信息；

S302：统计模块先查询测试用户指定的起始环节中的存储信息，从存储信息中的第一条开始，获取信息中帧序号n和信息中系统时刻T1，再在测试用户指定的终止环节中查询帧序号为n的信息，并获取信息中系统时刻T2，T2与T1的差值T便是测试用户需要的延时确定值；

S303.统计模块将延时确定结果发送给网络模块。