[发明专利]一种面向分布式网络的流量行为分析方法

权利要求书

1.一种面向分布式网络的流量行为分析方法，其特征在于，具体为：

模型训练阶段：采集网络历史流量数据作为训练模型的训练数据，得到网络流量行为模型；

学习阶段：将采集的实时流量数据输入训练好的网络流量行为模型，并利用最大后验估计准则经过迭代计算得到网络全局流量行为；

所述模型训练阶段的实现过程具体为：确定网络流量行为模型结构及估计模型参数；

确定网络流量行为模型结构：

将分布式网络流量行为信息分为两层：隐状态层和观测数据层，观测数据层是由网络探针测量得到的网络节点流量数据构成，隐状态层是由网络节点的行为模式构成，表示网络内在驱动因素，直接驱动网络节点流量外在表现；使用随机变量来表示隐状态和观测值，因此隐状态层和观测数据层构成了两个随机场，即隐状态场和观测场；

定义数学符号：在一个拥有N个节点的网络中，￥表示网络节点集合，x_t,n∈E表示在第t个时隙的第n个节点，n∈￥，其中表示所有空时位置节点集合，有|E|＝|￥|×T，T是时隙数量；使用S_t,n表示节点x_t,n的隐状态变量，s_t,n∈S表示随机变量S_t,n的一个实例，其中S代表隐状态集合，则表示定义在E上的隐状态随机变量族；因此，能够使用S表示在[1,T]上的隐状态场，s∈S表示S的一个配置，其中S表示隐状态场所有可能配置集合；使用相似的表示式，O_t,n表示节点x_t,n的观测值变量，o_t,n∈O表示随机变量O_t,n的一个实例，其中O表示观测值集合，则表示定义在E上的观测值随机变量族；因此，能够使用O表示在[1,T]上的观测场，o∈O表示O的一个配置，其中O表示观测场所有可能配置集合；

使用HMRF模型刻画隐状态场与观测场之间的空时演变关系；

针对隐状态场，引入一个假设：空间上一个节点仅和它的一跳邻居节点的状态有关，时间上仅和它前一个时刻的状态有关；基于统计学习的方法，隐状态场的概率能够通过以下公式获取：

其中，E-{x_t,n}表示不包含节点x_t,n的网络空时位置节点集合，与分别表示节点x_t,n的空间邻居状态与时间邻居状态，λ表示隐状态场参数；

公式(1)中的局部概率，通过以下公式获取：

其中，m表示节点状态，时间转移概率根据时间隐状态转移概率矩阵A计算，A表示隐状态从t时刻到t+1时刻的状态转移概率矩阵，即时间隐状态转移构成一阶马尔科夫链；A矩阵由下式表示：

其中P_ij的下标i和j分别表示节点在t和t+1时刻所处的隐状态；空间转移概率通过以下公式获取：

其中，U_t,n(m)表示边缘能量函数，且表示节点x_t,n的空间邻居节点，表示节点x_t,n的空间邻居节点数量，其中势函数定义为：V_t,n(m)＝num·α，其中参数α用于刻画当前节点与其空间邻居节点相互影响关系的强弱，num表示空间邻居节点状态与当前节点状态不相同的数量；

针对观测场，网络节点观测值通过网络探针获得，即网络的观测场是已知数据；设一个节点的观测值只与该节点的状态有关，观测场在隐状态驱动下的输出概率通过以下公式获取：

其中，连乘符号下标(t,n)表示Pr[O_t,n＝k|S_t,n＝m,θ_m]表示t时刻，节点n在状态为m的条件下输出观测值为k的概率，为了方便计算，将观测值O_t,n进行离散化，使用频率来近似代替概率，即使用观测值在状态m的频率分布来近似条件概率，参数θ_m表示在特定的状态下观测值的分布参数，这里使用输出概率矩阵B表示，称为观测场参数，B矩阵由下式表示：

其中P_mk表示节点在状态m输出观测值为k的概率；

由此，确定网络流量行为模型结构，网络流量行为模型由HMRF模型刻画，因此模型参数为Ω＝{A,α,B}，

估计模型参数；

当采集到历史流量数据以及确定流量行为模型结构之后，利用历史流量数据训练模型参数Ω＝{A,α,B}；为了便于实际工程应用，在计算过程中使用频率近似概率，因此计算之前需要对观测值O_t,n进行离散化；

其训练过程输入历史流量数据o，即网络节点观测值，输出模型参数Ω＝{A,α,B}；估计模型参数流程步骤如下：

(3-1)初始化迭代轮询初始值i、迭代停止条件Iter、初始隐状态场s⁽¹⁾；

其中迭代轮询初始值i初始化为1；迭代停止条件设置为迭代停止次数Iter，根据经验优选设置为5-8次；另外，迭代停止条件也能够设置为前后两次迭代过程参数变化范围阈值，当变化范围小于给定阈值时，停止迭代；初始隐状态场s⁽¹⁾根据历史流量数据观测值使用聚类算法进行初始化，聚类类别数量根据实际网络监控需求确定，类别数量对应网络节点行为状态数量，因此类别数量反映了对网络流量行为刻画的粒度，行为状态数量越多，能够刻画的流量行为粒度越细；

(3-2)根据隐状态场的配置情况更新模型参数，依据时间状态跳转的频率更新时间隐状态转移概率矩阵A，设时刻t处于状态i时刻t+1转移到状态j的频数记为A_ij，那么A中状态转移概率P_ij的估计值由以下公式获取：

依据经验公式确定α值，经验值优选0.5-10之间，α越大，表示节点之间相互作用越大，邻居节点的状态对当前节点的状态影响越大，反之亦然；依据相应状态输出观测值的频率分布更新输出概率矩阵B，设样本中状态为m并且观测值为k的频数是B_mk，那么B中输出概率P_mk的估计值由以下公式获取：

同时，迭代轮询次数加1，即i＝i+1；

(3-3)判断是否满足停止条件，即判断i＞Iter；

3-3-1)若判断为否，则根据估计行为状态流程更新隐状态场s⁽ⁱ⁾，输入数据为历史流量数据o、当前模型参数输出数据为更新隐状态场s⁽ⁱ⁾，其中，估计行为状态流程中的初始隐状态场使用当前的隐状态场s^(i-1)；

返回步骤(3-2)；

3-3-2)若判断为是，则输出最终模型参数Ω＝{A,α,B}；

根据以上步骤，能够基于历史流量数据训练得到的模型参数Ω＝{A,α,B}，作为流量行为模型。