[发明专利]一种基于TSN网络的视频画面抖动检测方法

权利要求书

1.一种基于TSN网络的视频画面抖动检测方法，其特征在于，包括以下步骤：

S1、获取多媒体业务中不同场景的视频，并进行预处理；

S2、将预处理的视频输入深度神经网络中进行学习；

S3、基于段共识函数，综合相同场景下的所有片段序列的预测结果；

S4、采用标准分类交叉熵损失，获得不同场景的输入视频的最终识别结果；

检测多媒体业务中视频画面抖动需识别出抖动特征和确定抖动特征的起始时间，因通过时钟同步、数据调度、网络配置等机制，TSN可以达到10us级的周期传输，以提供微秒级确定性服务，且能够实现周期性数据和非周期性数据在同一网络中传输，简化整个通信网络的复杂度，极大保证了多媒体业务中的实时性需求；

TSN可以用于构建可靠性高、延迟低和抖动低的网络；

通过机器学习算法对视频抖动特性进行学习，判断视频是否抖动以及输出抖动特征，根据学习结果形成资源分配和网络保障需求，再TSN网络响应资源分配和网络保障需求，从而实现对抖动特性的补偿或消除。

2.根据权利要求1所述的一种基于TSN网络的视频画面抖动检测方法，其特征在于：通过获取时钟信息，将时钟信息写入输入视频中，对输入视频进行预处理；再利用时钟信息获取第一时刻信息，根据第一时刻信息，利用第一时刻信息获取第二时刻信息，根据第二时刻信息和预处理的输入视频生成延迟信息和抖动信息，以用于训练模型，再由训练好的深度神经网络判断视频是否抖动和输出抖动的帧号。

3.根据权利要求1所述的一种基于TSN网络的视频画面抖动检测方法，其特征在于：获取时钟同步后的硬件时间，取整后作为预设数量的视频数据的发出时间的时间表，再控制数据按预设的时间间隔发出，以设定时钟信息写入输入视频的视频帧中，并记录发出时间的信息作为第一时刻信息。

4.根据权利要求1所述的一种基于TSN网络的视频画面抖动检测方法，其特征在于：将预处理的输入视频发送至目标终端的网络接口后，且目标终端成功接收时，记录本地硬件时间作为第二时刻信息，并计算和记录该输入视频的延迟时间，即单位延迟时间＝第二时刻信息-第一时刻信息；

再计算和记录抖动时间，抖动时间＝相邻的单位延迟时间的差值。

5.根据权利要求1所述的一种基于TSN网络的视频画面抖动检测方法，其特征在于：当目标终端的网络接口接收到预设数量的视频数据后，叠加之前记录的所有单位延迟时间和所有抖动时间，作为整段输入视频的延迟时间和抖动时间，并写入输入视频中，使得可学习的抖动特征更丰富。

6.根据权利要求1所述的一种基于TSN网络的视频画面抖动检测方法，其特征在于：深度神经网络将输入视频划分为若干段，每个视频片段经过随机采样得到，并对视频片段进行建模；

如：TSN(T1,T2,...,TN)＝H(G(F(T1；W),F(T2；W),...,F(TN；W)))；

其中，(T1,T2,...,TN)代表片段序列，每个片段TN从输入视频中随机采样得到；

F(TN；W)学习函数代表采用W作为参数的卷积网络作用于每个视频片段TN，以返回相应的抖动类别的得分；

段共识函数G用于综合所有片段序列的类别得分，以获得关于类别假设的共识；

预测函数H再基于这个共识，预测整段输入视频的抖动类别的概率。

7.根据权利要求1所述的一种基于TSN网络的视频画面抖动检测方法，其特征在于：再获取多媒体业务中不同场景的视频作为输入视频，输入深度神经网络进行学习，最后综合利用多媒体业务中不同场景的输入视频的学习结果，结合标准分类交叉熵损失，从所有片段序列中的相同类别的得分中推断出抖动类别的分数，采用均匀平均法得到最终的识别结果。