[发明专利]大型数据中心服务器应用角色划分的方法

说明书

本发明涉及服务器运维管理技术领域，尤其涉及一种大型数据中心服务器应用角色划分的方法。本发明提出的大型数据中心服务器应用角色划分的方法，有效克服了传统运维方法的缺陷，无须耗费大量人力物力去采集、统计数据；无须运维人员对数据中心的应用的系统架构有充分的经验知识；能自动构建基于服务器的使用状况和日志数据，有效辅助运维人员掌握数据中心的服务器角色扮演情况。

技术领域

本发明涉及服务器运维管理技术领域，尤其涉及一种大型数据中心服务器应用角色划分的方法。

背景技术

近年来，大型数据中心的服务器数量的快速增长给其运维管理部门带来了巨大压力。运维管理人员越来越难以掌握数据中心内部的服务器的实际使用情况，及服务器在使用中主要扮演的角色，难以对服务器进行维护和掌握使用情况。

随着互联网的飞速发展，云计算和大数据时代的到来，很多企业开始搭建属于自己的数据中心和云计算平台，以支撑企业自身庞大而复杂的业务系统。然而，由于系统规模的增加带来的系统内在的复杂性和动态性，对数据中心的服务器资源管理来说具有很大的挑战性。在数据中心的服务器上运行着数量众多且关系错综复杂的业务系统，不同的服务器在其中担任着不同角色，承担着不同功能。但运维管理人员，对数据中心的很多问题都无法掌握清楚。例如：运维管理人员无法细致了解服务器上的任意程序，每个业务系统的边界，业务系统内部服务器的关系，业务系统间的关系等问题。所以当服务器出现故障时运维人员无法准确找到原因。若仅通过登记等管理手段，记录服务器的使用情况、功能情况、角色类别等信息，将带来很多问题。这些记录不具有时效性、准确性、全面性，也造成了管理上的不便和误导。另一方面，目前已有的数据中心的运维管理大多数集中于实时监控。虽然数据中心保存了海量的历史运行记录数据，但并没有进行有效的挖掘利用，如何从这些历史数据中，发现服务器的运行模式特点，掌握服务器的角色类别，并针对性的进行安全监控和管理。

发明内容

针对现有技术存在的不足，本发明提供了一种大型数据中心服务器应用角色划分的方法，以实现对数据中心服务器进行有效的运维管理。

本发明提供了如下方案：

一种大型数据中心服务器应用角色划分的方法，包括以下步骤：

S1解析一定时间段内的大型数据中心服务器的原始日志数据，上述时间段以天为单位，将非结构化的原始日志数据进行去噪、序列化、转换、解压等处理；

从原始日志数据中提取进程信息数据，该进程信息数据中至少包括采样的服务器名称，进程ID，CPU使用率，虚拟内存使用率，进程名称，路径，参数七项内容；

从原始日志数据中提取服务器的日志采样时间数据，该日志采样时间数据至少包括服务器的名称和服务器的CPU核数两项内容；

S2过滤服务器启动时的加载进程，避免此类进程对服务器角色划分的影响，并提取进程特征；

对于进程名称以“[”符号开头的进程和虚拟内存使用率为0的进程，认为是服务器启动时的加载进程，过滤不再使用；否则，保留该进程以用于服务器角色划分使用；

从S1所述进程信息数据中提取所有服务器的进程信息数据，至少包括各服务器中各进程的进程名称和虚拟内存使用率；利用这些进程信息数据和服务器的日志采样时间数据计算服务器各进程的特征值TF-IDF；

计算服务器各进程的特征信息TF-IDF，包括：

遍历当前时间戳下筛选过的服务器进程，统计各个服务器采样的频次，统计每台服务器中，各个进程出现的频次TF值，统计各个进程在所有采样中出现的频次DF值，则：

TF-IDF＝TF/DF

TF-IDF值越大，表明服务器间区分程度越大；

S3计算各进程对于服务器分类的贡献度，构建多维度特征矩阵：