[发明专利]一种基于社团演化的组织行为异常检测方法

摘要

一种基于社团演化的组织行为异常检测方法，其特征在于，包括基于EM算法的模糊社团划分、社团演化分析、异常子序列检测等步骤。本发明能够从中等的尺度描述组织变化，对组织成员地位、角色以及交互量和交互频率的改变，和组织演化的方向具有很高的敏感性，避免了从组织整体考察组织动态可能丧失的细节；能够通过调整子序列长度和邻域子序列个数，得到不同时间尺度的异常，且通过重构权值和重构误差构造的一致因子能够放大子序列与其邻域的差异，提高异常检测的分辨率和鲁棒性。

主权项

一种基于社团演化的组织行为异常检测方法，其特征在于，包括以下步骤：步骤1基于EM算法的模糊社团划分步骤1.1提取节点特征向量网络的邻接矩阵取最大的p个特征值所对应的特征向量得到n×k的特征矩阵A_t，取特征矩阵的每一行作为对应节点的属性向量，则将每个节点都映射到了p维空间，n为网络节点个数，节点m的属性向量为$l_m=({\tilde{a}}_m^{\left(1\right)},{\tilde{a}}_m^{\left(2\right)},...,{\tilde{a}}_m^{\left(p\right)})$步骤1.2EM算法划分社团对于组织成员集合v₁,v₂,…,v_n，C₁,C₂,…,C_k为k个模糊社团，c₁,c₂,…,c_k分别为社团C₁,C₂,…,C_k的社团中心，W＝[w_ij](1≤i≤n,1≤j≤k)为划分矩阵，其中$w_{ij}=\frac{\frac{1}{dist(v_i,c_j)}}{\underset{t=1}{\overset{k}{\Σ}}\frac{1}{dist(v_i,c_t)}}$已知划分k个社团，模糊社团的划分利用EM算法实现，步骤如下：(1)初始化k个社团中心，划分矩阵；(2)期望步E‑步：计算每个成员对于每个社团的隶属度，得到划分矩阵W；(3)最大化步M‑步：根据上步得到的划分矩阵，调整社团中心(4)迭代执行期望步和最大化步，直到达到设定迭代步数或社团中心收敛到期望范围或误差平方和小于设定阈值；步骤1.3社团数量确定设网络中节点集合N＝{v₁,v₂,…,v_n}，节点m的特征向量为设r为所划分的社团个数，{C₁,C₂,…,C_r}为社团集合，n_i为第i个社团的成员个数，社团C_i对应的节点N为所对应的节点属性向量分别为记$T_i=\underset{j=1}{\overset{n_i}{\Σ}}{l}_{ij},i=1,2,...,r$$Q_1=\underset{i=1}{\overset{r}{\Σ}}{T}_i,Q_2=\underset{i=1}{\overset{r}{\Σ}}\underset{j=1}{\overset{n_i}{\Σ}}{l}_{ij}^T{l}_{ij}$其中l_ij表示第i个社团中第j个节点的属性向量，$S_A=\underset{i=1}{\overset{r}{\Σ}}\frac{T_i^T{T}_i}{n_i}-\frac{Q_1^2}{n}$$S_e=Q_2-\frac{Q_1^T{Q}_1}{n}-S_A$引入F统计量$F=\frac{S_A/(r-1)}{S_e/(n-r)}\stackrel{H0}{~}F\left(p\right(r-1,n-r\left)\right)$对给定的显著水平α和社团数量r，可查F分布表得到F_1‑α(p(r‑1,n‑r))，如果F>F_1‑α(p(r‑1,n‑r))，根据统计学理论可知社团间具有显著差异，说明分类比较合理；对于不同社团数量，在满足F>F_1‑α(p(r‑1,n‑r))的所有的社团划分中，取使差值F‑F_1‑α最大的社团数量作为最合理的社团数量，进而得到最佳的社团划分；步骤2社团演化分析步骤2.1组织角色聚类系数描述了节点邻域的边密度，组织中不同角色的交互模式往往能体现在聚类系数的差异上，故节点的局部聚类系数能够在一定程度上反映节点在网络中的地位和角色差异，网络中节点i的聚类系数定义如下${\tilde{C}}_i=\frac{\left|E\left({\mathrm{\Γ}}_i\right)\right|}{\left(\begin{array}{c}{k}_i\\ 2\end{array}\right)}$其中Γ_i为节点i的邻域，即节点i及其所有直接邻构成的子图，E(Γ_i)表示Γ_i中边的数量，$\left(\begin{array}{c}{k}_i\\ 2\end{array}\right)=\frac{1}{2}{k}_i(k_i-1)$为Γ_i中所有节点互联时的边数量；步骤2.2组织角色熵假设组织网络G中共n个成员，并且网络中存在t种角色{j₁,j₁,…,j₁}，类比信息熵的定义，定义组织角色熵$E_h\left(G\right)=-\underset{k=1}{\overset{t}{\Σ}}{p}_k{\log }_2{p}_k$其中p_k表示角色j_k成员数量在组织中占的比例，即$p_k=\frac{\left|j_k\right|}{n}$步骤2.3社团角色熵假设社团划分l将网络划分为m个社团，即{C₁,C₂,…,C_m}，各个社团仍包含不同的角色。将各个社团看作子组织，定义社团角色熵$E_m\left(G\right)=-\underset{i=1}{\overset{m}{\Σ}}\frac{\left|C_i\right|}{n}\×E_h\left(C_i\right)$其中表示第i个社团在整个组织所占的比重，E_m(G)是基于算法m对组织进行社团划分后识别成员角色所需的期望信息量；步骤3异常子序列检测步骤3.1确定参数给定长度为L的时间序列：X＝{x₁,x₂,…,x_L}L为时间序列的长度，给定要检测的子序列长度为l，以l为窗口长度，其中l＜＜L；从x₁开始截取子序列，一共可得到n＝L‑l+1个长度为l的子序列，时间序列的l子序列X_j表示如下：X_j＝{x_j,x_j+1,…,x_j+l‑1}对于子序列X_j，定义其p(p为偶数)邻域子序列为：$NbpNbp\left(X_j\right)=\left\{\begin{array}{cc}\{X_2,...,X_{p+1}\},& j=1\\ \{X_1,...,X_{j-1},X_{j+1},...,X_{P+1}\},& 1\<j\<1+p/2\\ \{X_{j-p/2},X_{j-p/2+1},...,X_{j-1},X_{j+1},...,X_{j+p/2}\},& 1+p/2\≤j\≤n-p/2\\ \{X_{n-p-1},...,X_{j-1},X_{j+1},...,X_n\},& n-p/2\<j\<n\\ \{X_{n-p},...,X_{n-1}\},& j=n\end{array}\right.$其中每个元素都是原时间序列的l子序列，这里简记为$Nbp\left(X_j\right)=\{X_j^{\left(1\right)},X_j^{\left(2\right)},,X_j^{\left(p\right)}\}$L为子序列长度，p为邻域个数，其中l关系到异常子序列的分辨率，而p关系到异常作用的范围；步骤3.2建立子序列回归模型把X_j看作因变量l次观测值的集合，把Nbp(X_j)中的l子序列看作影响X_j的p个因素，为了衡量X_j与其邻域的一致程度，将Nbp(X_j)中的元素加权求和，重构子序列X_j如下：${\hat{X}}_j=\underset{i=1}{\overset{p}{\Σ}}{w}_j^{\left(i\right)}{X}_j^{\left(i\right)}$称为X_j的邻域重构序列，其中p个邻域子序列参与重构的权值为$W_j=\{w_j^{\left(1\right)},w_j^{\left(2\right)},...,w_j^{\left(p\right)}\}$该过程可用线性模型表达$X_j\left(i\right)=w_j^{\left(1\right)}\left(i\right)X_j^{\left(1\right)}\left(i\right)+...+w_j^{\left(p\right)}\left(i\right)X_j^{\left(p\right)}\left(i\right)+{\mathrm{\ϵ}}_j\left(i\right),i=1,2,...,l$在这里ε_j是X_j的重构值和真实值的偏差，记$X_j=\left[\begin{array}{c}{X}_j\left(1\right)\\ X_j\left(2\right)\\ \begin{array}{c}.\\ .\\ .\end{array}\\ X_j\left(l\right)\end{array}\right],N_{X_j}=\left[\begin{array}{cccc}{X}_j^{\left(1\right)}\left(1\right)& X_j^{\left(2\right)}\left(1\right)& ...& X_j^{\left(p\right)}\left(1\right)\\ X_j^{\left(1\right)}\left(2\right)& X_j^{\left(2\right)}\left(2\right)& ...& X_j^{\left(p\right)}\left(2\right)\\ \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}\\ ...\\ \end{array}& \begin{array}{c}.\\ .\\ .\end{array}\\ X_j^{\left(1\right)}\left(l\right)& X_j^{\left(2\right)}\left(l\right)& ...& X_j^{\left(p\right)}\left(l\right)\end{array}\right],W_j=\left[\begin{array}{c}{w}_j^{\left(1\right)}\\ w_j^{\left(2\right)}\\ \begin{array}{c}.\\ .\\ .\end{array}\\ w_j^{\left(p\right)}\end{array}\right],{\mathrm{\ϵ}}_j=\left[\begin{array}{c}{\mathrm{\ϵ}}_j\left(1\right)\\ {\mathrm{\ϵ}}_j\left(2\right)\\ \begin{array}{c}.\\ .\\ .\end{array}\\ {\mathrm{\ϵ}}_j\left(l\right)\end{array}\right]$则称为子序列邻域回归模型；步骤3.3计算一致因子是模型中第i个回归系数，也是X_j的第i个邻域子序列对其线性重构的权重，而每个子序列还对应着它参与重构其邻域的p子序列的p个权值，记为X_j的重构权值向量$F_j=(f_j^{\left(1\right)},f_j^{\left(2\right)},...,f_j^{\left(p\right)});$通过||F_j||和||ε_j||构造衡量子序列与其邻域一致性的一致因子，定义子序列X_j的一致因子${\mathrm{ac}}_j=\frac{\left|\right|F_j\left|\right|}{\left|\right|{\mathrm{\ϵ}}_j\left|\right|}$本发明采用优化重构偏差的方法求解重构权值，将权值的归一化条件作为约束；设对X_j的重构结果为自然地将对X_j的重构偏差定义为向量与X_j的二范数，即${\mathrm{\ϵ}}_j=\left|\right|X_j-{\hat{\hat{X}}}_j|{|}_2$其中${\hat{\hat{X}}}_j=\underset{i=1}{\overset{p}{\Σ}}{w}_j^{\left(i\right)}{X}_j^{\left(i\right)}$优化问题定义如下$\min \left|\right|X_j,{\hat{\hat{X}}}_j|{|}_2$$st:\underset{i=1}{\overset{p}{\Σ}}{w}_j^{\left(i\right)}=1$上式中第一项为目标函数最小化重构偏差，第二项为重构权值归一化的约束,上述优化可得到X_j被重构的权值以及最终的重构误差对每个子序列X_i进行以上的最小二乘估计或优化过程，从所有被重构权值中得到X_i参与重构的p个权值，即回归系数得到一致因子序列$ac=\{\frac{\left|\right|F_1\left|\right|}{\left|\right|{\mathrm{\ϵ}}_1\left|\right|},\frac{\left|\right|F_2\left|\right|}{\left|\right|{\mathrm{\ϵ}}_2\left|\right|},...,\frac{\left|\right|F_{L-l+1}\left|\right|}{\left|\right|{\mathrm{\ϵ}}_{L-l+1}\left|\right|}\}$在子序列异常检测时，通过绘制子序列一致因子曲线，曲线的低谷值对应的子序列为异常子序列。