[发明专利]一种基于时间序列相似检索的网络监控实时预警方法

说明书

本发明公开了一种基于时间序列相似检索的网络监控实时预警方法，通过CUSUM预警算法基于正常流量确定预警阈值，对于存在异常的流量片段，将超出阈值的部分进行初步标记。通过模体发现算法寻找重复出现的异常流量片段。定义一个与序列长度无关的标准化DTW距离，通过比较该距离实现相似片段的延拓，使得用户最终找到的复现片段尽可能涵盖完整的攻击片段或故障片段。通过进一步检索，实现k个模体的发现。对找到的多个相似异常片段基于层次凝聚聚类HAC方法作相似聚类，依据聚类结果归纳片段模式，进而构建片段模式库。当异常片段再次发生时，基于DTW相似度量将实时片段作为查询序列，向模式库发起实时相似检索和匹配，与传统预警机制结合，减少漏报的同时，又为预警片段提供了历史数据参考。

技术领域

本发明属于信息处理技术领域，特别涉及一种基于时间序列相似检索的网络监控实时预警方法。

背景技术

互联网技术改变了人类生产生活的方方面面，同时网络故障和网络攻击也给人们带来了巨大的损失。在实际场景中，网络攻击和网络故障具有一定的复现性。同种网络攻击和网络故障，其网络流量的统计时间序列往往是具有一定相似度的。通过网络流量的统计时间序列进行相似检索，可以为网络攻击和网络故障的预防、分析提供重要的参考。

当前网络安全应用中对流量监测数据的使用存在如下不足：

1.没有充分考虑到监测序列的相似性，许多故障反复出现，预警机制不能利用相似性进行关联，将相似性其应用于风险预警。

2.传统基于阈值检测的分析方法，虽然能够非常方便地检测出网络异常，但却不能具体地给出网络异常复现的时间，不能具体地给出历史数据参考。

3.当前流量序列预警方法仍然存在一定的漏报率，引入相似检索作为参考将有助于减小漏报率。

发明内容

发明目的：为了克服现有技术中存在的问题，本发明提供一种基于时间序列相似检索的网络监控实时预警方法，能够发现网络流量监控统计序列中复现性的问题片段，对复现问题提供关联分析和模式归纳，利用相似检索实现风险片段的实时预警。

技术方案：为实现上述目的，本发明提供一种基于时间序列相似检索的网络监控实时预警方法，包括如下步骤：

(1)从网络流量报文中提取流量统计值，获得统计时间序列，流量统计值结合网络监控设备进行监测；

(2)网络监控过程中，依据正常流量确定CUSUM算法的预警阈值，处理含有异常流量的片段时，对超出阈值的片段进行标注；

(3)使用模体发现算法寻找流量序列中的一对复现片段，并限定复现片段需要包含的异常流量，异常流量即为步骤(2)中超出阈值的片段；

(4)针对步骤(3)中找到的一对复现片段，基于DTW相似距离进行定步长片段延拓；

(5)针对步骤(4)中已经延拓的一对复现片段，将其中一个作为查询序列进行KNN相似检索，并使用DTW作为相似度量距离，结束后得到k个包含异常流量的复现片段；使用层次凝聚聚类法即HAC对找到的复现片段进行聚类分析，依据聚类结果提取片段模式；

(6)基于步骤(5)提取的片段模式构建片段模式库，当再次出现异常流量时，借助相似检索算法将模式用于实时网络风险预警。

进一步的，所述步骤(1)中从网络流量报文中提取流量统计值，获得统计时间序列的具体步骤如下：

(1.1)在网络安全监测设备中建立统计模块；

(1.2)通过数据标准化对获得的时间序列进行预处理。

进一步的，所述步骤(2)中对超出阈值的片段进行标注的具体步骤如下：