[发明专利]基于IT基础架构的多源运行数据中多模块日志的行为感知方法

说明书

本发明公开了一种基于IT基础架构的多源运行数据中多模块日志的行为感知方法，其步骤包括：1、序列化运行日志条目，对冗余特征进行筛选和剔除,降低日志规模；2、初始化日志模块的质量和产生时间集合；3、将规模优化后的运行日志条目分配给日志模块，更新模块行为集合；4、根据模块行为集合结果，预测模块行为，贴上标签。本发明能有效地发现日志的模块行为，从而为产生该类型日志的基础架构的拓扑发现工作提供可靠的信息，提高系统的工作有效性。

技术领域

本发明属于日志聚类领域，具体地说是一种基于IT基础架构的多源运行数据中多模块信息日志的行为感知方法。

背景技术

当前，我们处于数据大爆炸的时代，对于挖掘数据中蕴含的宝贵信息成了当今信息世界的主题。为了顺应时代的潮流，各企业的信息化已成为企业核心竞争力、实现管理创新、推动科学发展的重要抓手。“云”“大”“物”“移”的快速发展及其应用对信息通信运行技术支撑能力提出了更新和更高的要求。这一系列信息化建设有效支撑了一体化企业级信息系统建设和应用，也使得企业的IT基础架构极具多样性，信息通信运维对象的规模和复杂度也越来越高。这些因素导致了过去的互联网企业的IT基础架构运维经验已经无法满足现今的需求，必须针对现在企业架构的特点设计专有方法和技术。

现有的一些日志聚类技术，往往针对的是文本信息，同时目的是为了发现文本的主题，对于日志模块的行为感知方法欠缺，或者说现有方法适用性很差，也不能很好的发现日志当中时序信息的潜在作用。

发明内容

本发明为了克服现有技术存在的不足之处，提出一种基于IT基础架构的多源运行数据中多模块日志的行为感知方法，以期能快速、有效、动态地感知日志中模块的行为，从而为系统的高效运行以及拓扑发现工作提供可靠数据。

本发明为解决技术问题采用如下技术方案：

本发明一种基于IT基础架构的多源运行数据中多模块日志的行为感知方法，所述日志是由n条有时序关系的日志条目组成，并将n条日志条目按照时序先后顺序所组成的集合记为I＝{I₁,I₂,...,I_i,...,I_n}，其中，I_i表示日志中第i条日志条目，且第i条日志I_i有K个特征，1≤i≤n；定义日志中所含的多模块为N＝{N₁,N₂,...,N_j,...,N_m}；N_j表示日志中第j个模块，且每个模块均对应一个模块名称，1≤j≤m；定义第j个模块N_j的行为集合是由若干个条日志条目组成，并记为A_j，且其特点是，所述行为感知方法是按如下步骤进行：

步骤1、从第i条日志条目I_i的K个特征中抽取d个特征，记为其中，表示第i条日志I_i的第k个特征，令表示第i条日志I_i的时间特征，表示第i条日志I_i的行为描述特征；从而完成n条日志条目的d个特征的抽取，1≤k≤d＜K；

步骤2、初始化i＝1；

步骤3、利用式(1)得到相邻两条日志条目的余弦相似度sim_i,i+1：

式(1)中，Similarity(·)为余弦相似度函数；

步骤4、判断sim_i,i+1＞MAX是否成立，若成立，则删除第i+1条日志条目I_i+1；否则，保留相应的两条日志条目，其中MAX为所设定的阈值；

步骤5、将i+1赋值给i后，判断i＞n是否成立，若成立，则执行步骤6；否则返回步骤2，从而得到规模优化后的日志条目集合其中表示第a条规模优化后的日志条目，1≤a≤s≤n；