[发明专利]异常流量识别系统

说明书

本申请提供了一种异常流量识别系统。该系统包括无监督学习单元、有监督学习单元、交互单元和规则知识库，交互单元利用无监督学习单元的输出丰富规则知识库，并将丰富后的规则知识库用于第一特征工程和第二特征工程的构建，第一特征工程为无监督学习单元的特征工程，第二特征工程为有监督学习单元的特征工程；采用无监督学习单元、交互单元和丰富后的规则知识库，对类别未知的异常流量进行识别；采用有监督学习单元、交互单元和丰富后的规则知识库，对类别已知的异常流量进行识别。本方案针对不同的流量类别，采用不同的方法进行识别，实现了对各种异常流量的精确识别。

技术领域

本申请涉及异常流量检测领域，具体而言，涉及一种异常流量识别系统。

背景技术

随着移动应用的不断发展和普及，移动广告在网络广告中扮演着至关重要的角色，在移动广告中，由欺诈性曝光、点击或其他行为引起的移动广告欺诈已经成为营销广告的顽疾，不仅仅为广告主造成了巨大的经济损失，也严重影响了广告平台的形象与交付质量，该问题引起了广泛学者及公司的关注。为了打击日益猖獗的广告欺诈行为，机器学习方法被成功地应用于识别广告欺诈行为，将可疑的广告欺诈行为与正常的广告欺诈行为区分开来。然而，黑产行业的作弊方法日新月异，不断更新作弊技术模仿正常用户的行为，在实际应用中很难获取到有效的流量异常精准标签，从而很难有效识别异常流量。

现有异常流量检测方案多为有监督的方法和基于规则的方法。基于有监督的方法识别异常流量，往往依赖历史数据，且需要有历史数据的精准标签，通过历史行为学习黑产攻击的模式和方法，只能识别历史上出现过的类型，对于未知类型的欺诈方式接近失效。基于规则的方法强依赖于对业务的经验及业务规则的理解，需要耗费大量的人力，由于欺诈方式的更新换代的速度极快，使得基于规则的方法需要不断的更新，欺诈方式的复杂性不断提高，很难快速的总结欺诈规则，因此基于规则的方法很难跟上欺诈方式的变化。

发明内容

本申请的主要目的在于提供一种异常流量识别系统，以解决现有技术中异常流量检测方案仅能识别历史上出现过的类型等问题。

为了实现上述目的，根据本申请的一个方面，提供了一种异常流量识别系统，包括：无监督学习单元、有监督学习单元、交互单元和规则知识库，所述交互单元利用所述无监督学习单元的输出丰富所述规则知识库，并将丰富后的所述规则知识库用于第一特征工程和第二特征工程的构建，所述第一特征工程为所述无监督学习单元的特征工程，所述第二特征工程为所述有监督学习单元的特征工程；采用所述无监督学习单元、所述交互单元和丰富后的所述规则知识库，对类别未知的异常流量进行识别；采用所述有监督学习单元、所述交互单元和丰富后的所述规则知识库，对类别已知的异常流量进行识别。

可选地，所述无监督学习单元包括：第一数据解析模块，用于将监测系统回传的数据解析成各维度的第一字段，并对所述第一字段进行合法性验证；第一预处理模块，用于对各所述第一字段进行缺失值处理；第一特征工程模块，用于依据经过所述缺失值处理后的所述第一字段构建第一特征工程，并通过模型特征的选择，筛选出关键特征；无监督学习模块，将所述关键特征，和将所述规则知识库中的规则采用预定特征进行描述的第一启发特征知识相拼接得到拼接特征，采用所述拼接特征表示流量特征。

可选地，采用无监督模型对所述拼接特征进行筛选，筛选出新模式特征，并对筛选出的所述新模式特征进行重要性排序，所述交互单元对所述新模式特征进行专家知识总结，得到总结规则，采用所述总结规则丰富所述规则知识库，通过所述交互单元和所述无监督学习模块的不断迭代，检测新模式异常流量。

可选地，所述无监督模型下的正常流量的特征和异常流量的特征是不同的。

可选地，所述预定特征为连续特征或者离散特征。

可选地，对各所述第一字段进行缺失值处理，包括：对于os字段，采用众数或unk填充；将缺失值的数量大于预定数量的行删除。