[发明专利]基于健壮多元概率校准模型的全网络异常检测定位方法

摘要

本发明涉及一种基于健壮多元概率校准模型的全网络异常检测定位方法；该全网络异常检测定位方法含有下列步骤步骤1、正常流量建模使用采集到的流量数据建立常态模型；正常流量建模分为含有异常噪声数据下的正常模型构建和流量数据有缺失情况下的正常模型构建；步骤2、流量异常检测利用样本与常态模型的马氏距离衡量该样本是否异常；步骤3、异常OD定位通过对异常样本OD流的贡献分析定位异常发生的位置；本发明既可以处理完整数据，也可以处理数据缺失的情况，对异常噪声干扰的抵抗力较强，并且对模型参数的敏感性较低，性能稳定。

主权项

一种基于健壮多元概率校准模型的全网络异常检测定位方法，其特征是：含有下列步骤：步骤1、正常流量建模：使用采集到的流量数据建立常态模型；步骤2、流量异常检测：利用样本与常态模型的马氏距离衡量该样本是否异常；步骤3、异常OD定位：通过对异常样本OD流的贡献分析定位异常发生的位置；所述步骤1中的正常流量建模分为：含有异常噪声数据下的正常模型构建和流量数据有缺失情况下的正常模型构建；所述含有异常噪声数据下的正常模型构建方法为：A.使用t分布取代正态分布，建立隐变量概率模型：设每个d维的隐向量ti都来自于一个D维特征向量xi的线性概率投影，其中，D≥d，选择t分布取代正态分布，并选择单位方差t分布作为隐向量的先验分布，概率模型如下：p(ti)＝S(ti|0,Id,v)  (5)p(xi|ti)＝S(xi|Wti+μ,τID,v)  (6)其中，μ为位置向量，I为单位矩阵，v为t分布的自由度，W为投影矩阵，τ为待求解的模型参数；将t分布模型扩展为均值相同的无限高斯混合模型，t分布模型的先验分布为伽玛分布，且参数只与t分布的自由度v有关：p(x|μ,Λ,v)=∫0+∞N(x|μ,uΛ-1)Ga(u|v2,v2)du---(7)]]>其中，Ga(u|α,β)＝βαuα‑1e‑βu/Γ(α)为伽玛分布的概率密度函数，Λ为尺度矩阵；根据公式(7)，引入隐变量u，u为标量，u:Ga(v/2,v/2)，若t:t(μ,Λ,v)，则t|u:N(μ,u‑1Λ)；得到如下隐变量模型：p(ui)=Ga(ui|v2,v2)---(8)]]>p(ti|ui)=N(ti|0,ui-1Id)---(9)]]>p(xi|ti,ui)=N(Wti+μ,ui-1τID)---(10)]]>为了求取模型参数{μ,τ,W,v}，还需要得到u|x和t|x,u，由公式(9)和公式(10)，可得：p(xi|ui)＝∫p(xi|ti,ui)p(ti|ui)dt＝N(μ,WWT+τID/ui)  (11)设Ψ＝WWT+τID为D×D的矩阵，x的边缘分布服从t分布，可表示为：p(xi)＝S(μ,Ψ,v)，由公式(8)和公式(11)可求得：p(ui|xi)∝p(xi|ui)p(ui)=Ga(ui|D+v2,δ2+v2)---(12)]]>其中，δ2＝(xi‑μ)TΨ‑1(xi‑μ)，由公式(9)和公式(10)可求得：p(ti|xi,ui)∝p(xi|ti,ui)p(ti|ui)＝N(M‑1WT(xi‑μ),τΜ‑1/ui)  (13)其中，M＝WTW+τId为d×d的矩阵，t|x服从t分布，即p(ti|xi)＝S(M‑1WT(xi‑μ),τΜ‑1,v)；B.进行模型参数求解：需要求取的模型参数为Ω＝{μ,τ,W,v,d}，首先，确定保留主元的个数d为5；对{μ,τ,W,v}，采用极大似然估计进行模型的参数估计，其对数似然函数为：L=Σi=1Nlnp(x,ti,ui)---(14)]]>其中，N为样本的数目；采用REM算法求取模型参数的极大似然估计，REM算法含有两个阶段，每个阶段都采用EM算法对不同参数进行估计，然后迭代地进行两个阶段的循环，直至满足收敛条件；第一阶段：该阶段不考虑ti，只对参数μ进行估计；对数似然函数为：L1=Σi=1Nlnp(xi,ui)=Σi=1Nln{p(xi|ui)p(ui)}---(15)]]>E步：由Jensen不等式可知，当p(ui)＝p(ui|xi)时，等号成立，建立L1的下界，由公式(11)可求得L1的期望，见公式(16)，<·>表示计算期望：<L1>=-Σi=1N<ui>(xi-μ)TΨ-1(xi-μ)---(16)]]>其中，<ui>=v+Dv+(xi-μ)TΨ-1(xi-μ)---(17)]]>M步：将<L1>对μ求偏导数并令其等于0，可得μ估计值：μ~=Σi=1N<ui>xiΣi=1T<ui>---(18)]]>第二阶段：加入隐变量ti，估计参数{τ,W,v}，并带入求得的μ的估计值对数似然函数为：L2=Σi=1Nlnp(xi,ti,ui)=Σi=1Nln{p(xi|ti,ui)p(ti|ui)p(ui)}---(19)]]>E步：当p(ti,ui)＝p(ti,ui|xi)时，由公式(8)、公式(9)和公式(10)可求得L2的期望：<L2>=-Σi=1N{D2lnτ+<ui>3τ(xi-μ~)T(xi-μ~)-1τ<uiti>TWT(xi-μ~)+12τtr(WTW<uititiT>)+v2logv2+v-22<logui>-logΓ(v2)-v2<ui>}---(20)]]>其中，<ui>见公式(17)，<ti>＝M‑1WT(xi‑μ)  (21)<uiti>＝<ui><ti>  (22)<uititiT>=τM-1+<ui><ti><ti>T---(23)]]><logui>=ψ(v+D2)-log(v+(xi-μ)TΨ-1(xi-μ)2)---(24)]]>M步：极大化<L2>，求得模型参数{W,τ,v}的更新公式：W~=(Σi=1N(xi-μ~)<uiti>T)(Σi=1N<uititiT>)-1---(25)]]>τ~=1NDΣi=1N{<ui>||xi-μ~||2-2<uiti>TW~T(xi-μ~)+tr(W~TW~<uititiT>)}---(26)]]>参数的估计通过对下式进行线性搜索的方法求得：1+logv2-ψ(v2)+1NΣi=1N(<logui>-<ui>)=0---(27);]]>所述流量数据有缺失情况下的正常模型构建方法为：将样本数据xi划分为观测值和缺失值两部分，即xi=xioxim,]]>则样本数据xi的均值和协方差矩阵可表示为：μ=μoμm;Ψ=ΨooΨomΨmoΨmm,]]>由于则其中，zi=xioμm+ΨmoΨoo-1(xio-μo);Qi=000(Ψmm-ΨmoΨoo-1Ψom)---(28);]]>A.使用t分布取代正态分布，建立隐变量概率模型；B.进行模型参数求解：确定保留主元的个数d为5，对{μ,τ,W,v}，使用REM算法进行缺失数据下的模型参数估计：第一阶段：E步：<L1′>=-Σi=1Ntr(<ui(xi-μ)(xi-μ)T>Ψ-1)---(29)]]>其中，<ui>=v+Diov+(xio-μo)TΨoo-1(xio-μo)---(30)]]><ui(xi‑μ)(xi‑μ)T>＝Qi+<ui>(zi‑μ)(zi‑μ)T  (31)是样本数据xi的某些维度发生缺失时,剩余可以观测到的维度数目；M步：将<L1′>对μ求偏导数并令其等于0，可得μ估计值：μ~=Σi=1N<ui>ziΣi=1N<ui>---(32)]]>第二阶段：加入隐变量ti，估计参数{τ,W,v}，并带入求得的μ的估计值E步：<L2′>=-Σi=1N{D2lnτ+12τtr[<ui(xi-μ~)(xi-μ~)T>]-1τtr[<ui(xi-μ~)tiT>WT]+12τtr(WTW<uititiT>)}---(33)]]>其中，<ui(xi-μ~)tiT>=<ui(xi-μ~)(xi-μ~)T>WM-1---(34)]]><uititiT>=τM-1+M-1WT<ui(xi-μ~)(xi-μ~)T>WM-1---(35)]]>M步：极大化<L2′>，求得模型参数{W,τ,v}的更新公式：W~=(Σi=1N<ui(xi-μ~)tiT>)(Σi=1N<uititiT>)-1---(36)]]>τ~=1NDΣi=1N{tr[<ui(xi-μ~)(xi-μ~)T]-2tr[<ui(xi-μ~)tiT>WT]+tr(W~TW~<uititiT>)}---(37)]]>参数v的更新通过下式求得：1+logv2-ψ(v2)+1NΣi=1N(<logui>-<ui>)=0.]]>