[发明专利]可动态预测的数据流量检测分类方法及装置

说明书

本申请实施例提供一种可动态预测的数据流量检测分类方法及装置，通过对多源异构大数据进行分析获得训练样本。然后，对训练样本按照标签类型进行分流，并计算分流后的每个训练样本的流会话特征矢量以及回归模型预测矢量。通过流会话特征矢量和回归模型预测矢量混合深度学习，从而考虑到多源异构数据的数据特点，能够针对多源异构数据流进行智能识别与精细化分类，为大数据服务与应用聚合提供能力支撑，实现大数据价值的深度挖掘。

技术领域

本申请涉及数据流量检测分类技术领域，具体而言，涉及一种可动态预测的数据流量检测分类方法及装置。

背景技术

当前，面向多源异构海量数据的实时分析应用场景已经越来越普遍，如何对未知的多源数据流进行智能识别与精细化分类，从而对后续的业务运营提供实时大数据的分析处理，是本领域的一大难题。在传统方案中，通常仅能针对单一来源的数据流进行智能识别与精细化分类，难以针对多源数据流进行智能识别与精细化分类，从而限制了业务运行的场景。

发明内容

有鉴于此，本申请的目的在于提供一种可动态预测的数据流量检测分类方法及装置，能够针对多源数据流进行智能识别与精细化分类，为大数据服务与应用聚合提供能力支撑，实现大数据价值的深度挖掘。

根据本申请的第一方面，提供一种可动态预测的数据流量检测分类方法，应用于服务器，所述方法包括：

获取用于数据流量检测分类的多源异构大数据，并对所述多源异构大数据进行分析，获得训练样本；

对所述训练样本按照标签类型进行分流，并计算分流后的每个训练样本的流会话特征矢量以及回归模型预测矢量；

将所述每个训练样本的流会话特征矢量、回归模型预测矢量和标签输入到数据流量检测分类模型中进行训练，得到训练后的目标数据流量检测分类模型；

根据所述目标数据流量检测分类模型对待分类多源异构数据流量进行检测分类。

在第一方面的一种可能的实现方式中，获取用于数据流量检测分类的多源异构大数据，并对所述多源异构大数据进行分析，获得训练样本的步骤，包括：

获取用于数据流量检测分类的多源异构大数据；

对所述多源异构大数据的有向带权图进行建模，通过所述有向带权图的顶点表示实体属性，通过所述有向带权图的边表示实体属性之间的关系，所述实体属性用于表示所述多源异构大数据中每个数据节点的元数据对象，所述实体属性之间的关系用于表示元数据关系，每个所述元数据对象作为关系型数据库中的一个数据字段；

将所述有向带权图生成的元数据对象作为元数据对象词典，将所述有向带权图中每个元数据对象的前驱关系和后继关系未关联于所述元数据对象词典中的候选元数据关系进行剔除，获得合法元数据关系；

将所述有向带权图生成的每个元数据对象和每个元数据对象对应的合法元数据关系作为所述训练样本。

在第一方面的一种可能的实现方式中，将所述有向带权图中每个元数据对象的未关联于所述元数据对象词典中的候选元数据关系的前驱关系和后继关系进行剔除，获得合法元数据关系的步骤，包括：

判断所述有向带权图中每个元数据对象的前驱关系和后继关系是否所述元数据对象词典中的至少一个候选元数据关系匹配；

当任意一个元数据对象的前驱关系和后继关系不与所述元数据对象词典中的至少一个候选元数据关系匹配时，剔除该元数据对象的前驱关系和后继关系，获得合法元数据关系。

在第一方面的一种可能的实现方式中，计算分流后的每个训练样本的流会话特征矢量以及回归模型预测矢量的步骤，包括：