[发明专利]带层次网络结构的业务系统层次组织结构发现方法

摘要

本发明涉及大型数据中心运维技术领域，尤其涉及一种带层次网络结构的业务系统层次组织结构发现方法。该方法利用日志大数据建立了一种自动化集群发现、分层的方法，可以用来自动绘制复杂业务系统的业务架构图，从而提高运维效率和系统架构信息的时效性。该方法构建的业务系统架构图可以真实反映业务系统在服务器上的运行的业务逻辑关系，辅助运维人员管理。且本发明的输入仅需要数据中心的服务器日志数据，能够自动发现复杂业务系统的业务架构图，不仅结果准确，而且无须过多人操作，节省了大量人力、物力开支。

主权项

1.一种带层次网络结构的业务系统层次组织结构发现方法，其特征在于，该方法包括以下步骤：S1从大型数据中心采集到的服务器日志数据中提取出服务器节点属性数据，训练分类器用于判断服务器节点对是否属于相同集群，具体包括以下步骤：S1.1从一段时间段内的大型数据中心服务器日志数据中提取出服务器节点属性数据，该服务器节点属性数据中包括：服务器作为服务端时常用的服务端口列表server_port、服务器上占用CPU最多的10个进程cpu_process、服务器上占用内存最多的10个进程mem_process、服务器作为服务端，服务于其他服务器的数量in_vm、服务器作为客户端，访问其他服务器的数量out_vm、服务器作为服务端，服务端口的数量in_port、服务器作为客户端，访问端口的数量out_port，以及部分已知服务器节点的分类信息；S1.2将部分已知服务器节点分类信息的服务器两两之间相互组合，根据两台服务器节点分类信息是否相同，标定服务器节点对是否属于相同集群的0/1标签；S1.3将全部服务器节点属性信息两两之间相互组合，构建服务器节点对相似度特征，针对类别型服务器节点属性，计算节点对相似度simil_attr(v_i，v_j)的公式如下：其中，category＝{server_port，cpu_process，mem_process}，v_i，v_j是任意两台服务器节点，i,j分别表示服务器节点编号，i,j＝1,2,…,N，N表示服务器节点个数；针对数值型服务器节点属性，计算节点对差异度diff_attr(v_i，v_j)的公式如下：其中，numerical＝{in_vm，out_vm，in_port，out_port}；S1.4运用逻辑回归模型进行服务器节点对是否属于相同集群的二分类训练，设数据集合D＝{X_g，Y_g}，g＝1，…，C，C表示数据样本数量，输入变量为X_g＝{x₁，x₂，x₃，…，x_c}，Y_g＝{y₁，y₂，y₃，…，y_c}，Y_g∈{0，1}，逻辑回归公式如下：其中，X_g表示第g个输入变量，代表服务器节点对相似度特征，Y_g表示第g个输出变量，代表服务器节点对是否属于相同集群的标签，表示对输入变量进行简化的转换函数，x表示输入变量，ω表示输入变量权重；S2从大型数据中心采集到的服务器日志数据中提取服务器TCP连接数据，基于连接模式计算服务器节点对相似度，具体包括以下步骤：S2.1从一段时间段内的大型数据中心服务器日志数据中提取出服务器TCP连接数据，将服务器当做节点，TCP连接当做边，构建服务器TCP连接网络拓扑图，进而得到网络的邻接矩阵；S2.2基于网络的邻接矩阵，从出链和入链两个角度计算任意一对服务器节点对之间的相似度；其中，出链角度体现了服务器作为客户端时在交互行为上表现的相似度，计算公式如下：其中，A是N行、N列的网络邻接矩阵，k表示邻接服务器节点；入链角度体现了服务器作为服务端时在交互行为上表现的相似度，计算公式如下：S3基于S1从服务器节点属性计算得到的服务器节点对相似度simil_attr(v_i，v_j)和S2针对服务器TCP连接拓扑从出链和入链两个角度计算得到的服务器节点对之间的相似度simil_out(v_i，v_j)、simil_in(v_i，v_j)构建服务器节点对相似度网络，借助社区发现算法对业务系统进行服务器集群分组发现；S4基于S3服务器集群分组发现的结果，再基于业务处理的逻辑流程，确定服务器集群在业务系统中的功能层次，具体包括以下步骤：S4.1根据服务器集群之间的入链、出链数，找出业务系统内部的孤立集群，孤立集群定义为集群内服务器与集群外服务器没有TCP连接，将孤立集群的层次Level标记为‑1；S4.2根据服务器集群之间的入链、出链数，找出业务系统内部的根集群，根集群定义为集群内服务器只接受集群外服务器访问请求的TCP连接而不会对集群外服务器发起访问请求的TCP连接的集群，将根集群的层次Level标记为0；S4.3根据服务器集群之间的访问服务关系确定客户端集群的层次，通过已经确定的服务端集群(Level＝h)确定高一层的客户端集群(Level＝h+1)；其中，若确定出多个客户端集群，在同层客户端集群中根据访问服务器关系进一步细分出服务端集群和客户端集群；S4.4以S4.3标记的最高层服务器集群为服务端集群，重复S4.3，直到S3发现的业务系统内部所有服务器集群都完成层次定位；S5基于S3发现的集群分组以及S4确定的集群层次关系，就能够对带层次网络结构的业务系统的层次组织结构进行发现，从而构建出大型数据中心复杂业务系统架构图。