[发明专利]大型数据中心服务器应用角色划分的方法

摘要

本发明涉及服务器运维管理技术领域，尤其涉及一种大型数据中心服务器应用角色划分的方法。本发明提出的大型数据中心服务器应用角色划分的方法，有效克服了传统运维方法的缺陷，无须耗费大量人力物力去采集、统计数据；无须运维人员对数据中心的应用的系统架构有充分的经验知识；能自动构建基于服务器的使用状况和日志数据，有效辅助运维人员掌握数据中心的服务器角色扮演情况。

主权项

一种大型数据中心服务器应用角色划分的方法，其特征在于，该方法包括以下步骤：S1解析一定时间段内的大型数据中心服务器的原始日志数据，上述时间段以天为单位，将非结构化的原始日志数据进行去噪、序列化、转换、解压处理；从原始日志数据中提取进程信息数据，该进程信息数据中至少包括采样的服务器名称，进程ID，CPU使用率，虚拟内存使用率，进程名称，路径，参数七项内容；从原始日志数据中提取服务器的日志采样时间数据，该日志采样时间数据至少包括服务器的名称和服务器的CPU核数两项内容；S2过滤服务器启动时的加载进程，避免此类进程对服务器角色划分的影响，并提取进程特征；对于进程名称以“[”符号开头的进程和虚拟内存使用率为0的进程，认为是服务器启动时的加载进程，过滤不再使用；否则，保留该进程以用于服务器角色划分使用；从S1所述进程信息数据中提取所有服务器的进程信息数据，至少包括各服务器中各进程的进程名称和虚拟内存使用率；利用这些进程信息数据和服务器的日志采样时间数据计算服务器各进程的特征值TF‐IDF；计算服务器各进程的特征信息TF‑IDF，包括：遍历当前时间戳下筛选过的服务器，统计各个服务器采样的频次，统计每台虚机中各个进程出现的频次TF值，统计各个进程在所有采样中出现的频次DF值，则：TF‐IDF＝TF/DFTF‑IDF值越大，表明服务器间区分程度越大；S3计算各进程对于服务器分类的贡献度，构建多维度特征矩阵：S3.1首先，统计每个进程的正样本出现频率A、负样本出现频率B、正样本不出现频率C、负样本不出现频率D以及样本总数N：S3.1.1遍历训练数据，统计样本中属于指定角色的正样本数量N₁和样本总数N；S3.1.2遍历训练数据，统计所有服务器包含的进程，形成进程集合；S3.1.3遍历进程集合内的所有进程，统计进程出现在指定服务器角色中的正样本出现频率A和出现在非指定角色中的负样本出现频率B；S3.1.4利用A与C不存在交集，且并集为正样本数量，得到C；S3.1.5利用B和D不存在交集且并集为负样本数量得到D；S3.2计算各进程对分类作用的贡献CHI：遍历各进程，对每一个进程利用如下所述公式进行计算，得到CHI值：$CHI=\frac{N{(AD-BC)}^2}{(A+C)(A+B)(B+D)(C+D)}$CHI值的大小代表该特征对分类的贡献程度，CHI越大，对分类区分程度越大；S3.3根据所述的特征值TF‑IDF和进程对分类作用的贡献CHI，构造特征矩阵，包括：根据计算得到的各进程对分类作用的贡献CHI，选择前20％数值大的进程作为分类使用的属性；利用上述计算得到的特征值TF‑IDF作为属性的值；构造一个高维度的特征矩阵，其中维度数即筛选出的属性数量；S4根据构建的特征矩阵，训练支持向量机SVM分类模型，其中将构造的各服务器的特征矩阵作为样本输入，样本标记的各服务器类别作为样本输出；训练一个适用于服务器角色划分的分类器模型；S5在测试集上，对采样服务器进行特征值TF‑IDF计算，利用S3中选取的进程作为特征矩阵的属性；选择相应进程的特征值TF‑IDF作为属性值，以此构建测试集的特征矩阵；S6以在测试集上构建的多维特征矩阵作为分类器的输入，以训练好的支持向量机分类器模型作为核心，以服务器的分类作为输出，以此来对未知的测试集服务器进行角色划分。