[发明专利]基于统计的异常流量监测方法、装置、设备及存储介质

权利要求书

1.一种基于统计的异常流量监测方法，其特征在于，所述异常流量监测方法包括以下步骤：

基于预置埋点，收集预设时间段内的用户访问日志记录；

对所述用户访问日志记录中的原始数据进行清洗与变换处理，生成符合统计要求的标准用户访问数据；

分别按照天、周、月对应的时间窗口进行滑动，统计标准用户访问数据对应的统计特征分别在不同时间维度上的分布；

将所述统计特征在不同时间维度上的分布映射成对应的多元高斯分布并分别进行参数估计，得到对应的多元高斯分布密度函数；

根据所述多元高斯分布密度函数，计算当前网络流量对应的用户访问日志记录的统计特征在各时间维度内分别对应的高斯分布概率值；

判断所述高斯分布概率值是否小于当前网络流量所在时间维度内的预置告警阈值；

若所述高斯分布概率值小于当前网络流量所在时间维度内的预置告警阈值，则判定当前网络流量为异常流量。

2.如权利要求1所述的基于统计的异常流量监测方法，其特征在于，所述将所述统计特征在不同时间维度上的分布映射成对应的多元高斯分布并分别进行参数估计，得到对应的多元高斯分布密度函数包括：

对不同时间维度内对应的所述统计特征分别进行归一化处理或者数据变换处理，以将所述统计特征在不同时间维度上的分布映射成对应的多元高斯分布；

以各多元高斯分布对应数据为样本，采用最大似然估计求解各多元高斯分布各自对应的均值估计量和协差阵估计量；

基于各多元高斯分布各自对应的均值估计量和协差阵估计量，生成各多元高斯分布各自对应的多元高斯分布密度函数。

3.如权利要求2所述的基于统计的异常流量监测方法，其特征在于，通过以下公式对所述统计特征对应的原始数据集进行归一化处理：

其中，μ、σ分别为原始数据集的均值和方差，S为归一化后的数据；

通过以下公式对所述统计特征对应的原始数据集进行对数变换处理：

y＝log_c(1+λx)；

其中，x为原始数据，y为对数变换后的数据，λ设置为1，c设置为变换数据的最大值。

4.如权利要求2或3所述的基于统计的异常流量监测方法，其特征在于，采用如下函数作为P元高斯分布对应的似然函数：

其中，μ、∑分别为P元高斯分布对应的样本均值向量和样本协差阵，X_i表示第i个统计特征样本向量，n表示共有n个统计特征样本向量，L表示似然函数，f表示概率密度函数。

5.如权利要求1所述的基于统计的异常流量监测方法，其特征在于，所述对所述用户访问日志记录中的原始数据进行清洗与变换处理，生成符合统计要求的标准用户访问数据包括：

检测所述用户访问日志记录中的原始数据是否存在缺失值；

若存在缺失值，则计算每个字段对应的缺失值比例，并根据缺失值比例与字段重要程度进行缺失值清洗，所述缺失值清洗包括：删除缺失值字段、使用插值法补全缺失值；

对所述用户访问日志记录中的原始数据进行排序，并计算排序后的每条记录与相邻记录之间的相似度；

若不同记录之间的相似度超过预置阈值，则判定为重复记录并删除多余的数据；

对清洗后的数据进行变换处理，生成符合统计要求的用户访问标准数据，所述变换处理包括：数据类型变换、对数变换、数据离散化中的一种或多种。

6.如权利要求1所述的基于统计的异常流量监测方法，其特征在于，所述用户访问日志记录至少包括：用户ID、用户IP地址、服务方IP地址、用户访问开始时间、用户访问停留时间、用户访问结束时间、访问异常代码；所述统计特征至少包括：用户访问量、异常访问量、异常类型、访问时间、是否是新增/减用户；

所述统计特征采用如下格式：以用户IP地址和服务方IP地址为用户ID，并至少以用户访问量、异常访问量、异常类型、访问时间、是否是新增/减用户为具体特征。