[发明专利]基于知识蒸馏的深度神经网络模型的流量分类方法及装置

权利要求书

1.一种基于知识蒸馏的深度神经网络模型的流量分类方法，其特征在于，包括：

步骤S1：构造一个深度神经网络作为用于流量分类的教师网络模型；

步骤S2：获取并预处理真实网络环境中的流量数据，得到网络流量数据库，作为训练集、验证集和测试集；

步骤S3：使用网络流量数据库和硬标签来训练教师网络模型，训练结束后保存经过训练的教师网络模型；

步骤S4：构建复杂度低于所述教师网络模型的用于流量分类的学生网络模型；

步骤S5：基于知识蒸馏方法辅助训练所述学生网络模型；

步骤S6：采用学生网络模型对流量数据进行分类。

2.根据权利要求1所述的基于知识蒸馏的深度神经网络模型的流量分类方法，其特征在于，在所述步骤S1中，所述教师网络模型设置为通过提取流量数据的深层特征，将流量分类问题转化为一个多目标分类任务来用于流量分类。

3.根据权利要求1所述的基于知识蒸馏的深度神经网络模型的流量分类方法，其特征在于，在所述步骤S2中，所述流量数据通过流捕获工具从互联网上收集流量记录来获取的，所述预处理操作包括去除原始数据包中的不相关数据包、数据包过滤、数据包标头删除、数据归一化和统一数据包长度的操作。

4.根据权利要求1所述的基于知识蒸馏的深度神经网络模型的流量分类方法，其特征在于，在所述步骤S4中所述学生网络模型通过将教师网络模型按比例进行压缩得到，两者的总参数量成比例；所述教师网络模型的每秒钟浮点运算量的数量级为10⁸、总参数量的数量级为10⁷；所述学生网络模型的每秒钟浮点运算量的数量级为10⁶、总参数量的数量级为10⁴。

5.根据权利要求1所述的基于知识蒸馏的深度神经网络模型的流量分类方法，其特征在于，所述教师网络模型和学生网络模型均采用一卷积神经网络和一softmax输出层。

6.根据权利要求5所述的基于知识蒸馏的深度神经网络模型的流量分类方法，其特征在于，在步骤S3中，将训练集中的数据逐个输入教师网络模型，设置其softmax输出层的温度T＝1，以将教师网络模型的卷积神经网络的最后一层输出z_i转化成类别概率q_i，得到分类结果，训练结束后保存经过训练的教师网络模型。

7.根据权利要求6所述的基于知识蒸馏的深度神经网络模型的流量分类方法，其特征在于，所述步骤S5包括：

步骤S51：采用T1的softmax输出层的温度生成教师网络模型的软标签；

步骤S52：根据所述硬标签与软标签得到学生网络模型训练时的损失函数；

步骤S53：进行误差反向传播，更新学生网络模型的参数；

步骤S54：重复上述步骤S51-步骤S53直到训练结束，此时保存所述学生网络模型。