[发明专利]基于海量日志数据实时监控的分散标签特征提取方法

说明书

本发明公开了基于海量日志数据实时监控的分散标签特征提取方法，包括以下步骤：S1.建立规范化的海量日志数据；S2.对海量日志数据进行处理；S3.对处理后的海量日志数据进行划分；S4.通过划分后的日志数据进行监控；S5.根据日志数据构建标签特征；S6.将标签特征中关键信息的字符串转换为正则表达式；S7.提取标签特征。本发明的提取方法，能够通过海量日志数据进行实时监控，保证了数据信息的实时性和有效性，有利于数据信息的高效检索及查询，同时基于海量日志数据，建立了软件运行中正确的标签特征，便于维护人员的人工的检查和理解，减少人工特征定义的失误，降低频繁修改的人力和时间成本。

技术领域

本发明属于数据处理技术领域，具体涉及基于海量日志数据实时监控的分散标签特征提取方法。

背景技术

现代软件日益复杂，规模日益庞大，导致软件维护成本攀升。分布式及异构软件系统的广泛使用，使得人工的监控软件运行状态和发现运行故障变得极为困难。日志是软件运行时不可或缺的输出形式。为了尽早发现分布式系统的故障所在，减少潜在的宕机风险，大量的分布式系统通过实时的日志输出保存运行时软件状态，为维护人员提供数据基础，然而市面上各种的基于海量日志数据实时监控的分散标签特征提取方法仍存在各种各样的问题。

如授权公告号为CN111259917A所公开的一种基于局部近邻成分分析的图像特征提取方法，其虽然实现了可以使得同类样本的特征向量在低维空间中聚集，不同类样本的特征向量在低维空间中分散，从而使得原始数据在低维空间中具备明显的聚类结构，能够更加有效地用于图像聚类和图像检索，但是并未解决现有的基于海量日志数据实时监控的分散标签特征提取方法还存在一些问题：不能保证日志数据信息的实时性和有效性，同时不方便进行检查，为此我们提出基于海量日志数据实时监控的分散标签特征提取方法。

发明内容

本发明的目的在于提供基于海量日志数据实时监控的分散标签特征提取方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于海量日志数据实时监控的分散标签特征提取方法，包括以下步骤：

S1.建立规范化的海量日志数据；

S2.对海量日志数据进行处理；

S3.对处理后的海量日志数据进行划分；

S4.通过划分后的日志数据进行监控；

S5.根据日志数据构建标签特征；

S6.将标签特征中关键信息的字符串转换为正则表达式；

S7.提取标签特征。

优选的，所述S1中建立规范化的海量日志数据包括对于不符合格式要求的日志数据使用正则表达式进行处理和建立日志数据监控服务。

优选的，所述S1中建立规范化的海量日志数据还包括对利用Hadoop对日志数据进行数据清洗，筛选出原始数据和对原始数据进行包括均值、有效值、峰值、方根幅值、波形指标、脉冲指标、峭度指标的特征值提取。

优选的，所述S2中对海量日志数据进行处理的方法包括以下步骤：

S101.获取设定时间段内的日志文件，所述日志文件包括非结构化日志数据；

S102.对所述非结构化日志数据进行识别，确定与所述非结构化日志数据对应的特征值；

S103.从所述非结构化日志数据中确定出有效的非结构化日志数据；

S104.根据所述特征值，对所述有效的非结构化日志数据进行聚类，转换成M个结构化日志数据，所述M个结构化日志数据中不同条的结构化日志数据具有相同的N个特征值，其中，M为正整数。