[发明专利]基于海量日志数据实时监控的分散标签特征提取方法

权利要求书

1.基于海量日志数据实时监控的分散标签特征提取方法，其特征在于：包括以下步骤：

S1.建立规范化的海量日志数据；

S2.对海量日志数据进行处理；

S3.对处理后的海量日志数据进行划分；

S4.通过划分后的日志数据进行监控；

S5.根据日志数据构建标签特征；

S6.将标签特征中关键信息的字符串转换为正则表达式；

S7.提取标签特征。

2.根据权利要求1所述的基于海量日志数据实时监控的分散标签特征提取方法，其特征在于：所述S1中建立规范化的海量日志数据包括对于不符合格式要求的日志数据使用正则表达式进行处理和建立日志数据监控服务。

3.根据权利要求1所述的基于海量日志数据实时监控的分散标签特征提取方法，其特征在于：所述S1中建立规范化的海量日志数据还包括对利用Hadoop对日志数据进行数据清洗，筛选出原始数据和对原始数据进行包括均值、有效值、峰值、方根幅值、波形指标、脉冲指标、峭度指标的特征值提取。

4.根据权利要求1所述的基于海量日志数据实时监控的分散标签特征提取方法，其特征在于：所述S2中对海量日志数据进行处理的方法包括以下步骤：

S101.获取设定时间段内的日志文件，所述日志文件包括非结构化日志数据；

S102.对所述非结构化日志数据进行识别，确定与所述非结构化日志数据对应的特征值；

S103.从所述非结构化日志数据中确定出有效的非结构化日志数据；

S104.根据所述特征值，对所述有效的非结构化日志数据进行聚类，转换成M个结构化日志数据，所述M个结构化日志数据中不同条的结构化日志数据具有相同的N个特征值，其中，M为正整数。

5.根据权利要求4所述的基于海量日志数据实时监控的分散标签特征提取方法，其特征在于：所述S2中对海量日志数据进行处理的方法还包括：根据所述结构化日志数据中的时间戳信息，对所述M个结构化日志数据进行聚合运算，确定所述结构化数据的时序化指标，所述时序化指标用于反映所述结构化数据在单位时间内的特征。

6.根据权利要求1所述的基于海量日志数据实时监控的分散标签特征提取方法，其特征在于：所述S4中通过划分后的日志数据进行监控的方法包括建立采集模块、处理模块和数据监管模块，所述采集模块用于对海量日志数据进行获取，所述处理模块用于从获取的海量日志数据中提取信息，进行监控，所述数据监管模块用于启动分发任务流程、设置单独的线程进行异常问题检查、在发现设备异常时将相应任务调度至其他同级，同时利用MySQL服务机制实现分布式锁，在任务调度过程中利用获取锁提高调度效率，降低设备传输存储的资源消耗。

7.根据权利要求1所述的基于海量日志数据实时监控的分散标签特征提取方法，其特征在于：所述S4中通过划分后的日志数据进行监控的方法还包括建立确定模块，所述确定模块用于对获取的海量日志数据进行确定，避免数据的损失。

8.根据权利要求1所述的基于海量日志数据实时监控的分散标签特征提取方法，其特征在于：所述S6中将标签特征中关键信息的字符串转换为正则表达式的具体包括将所有的字符串中的字符转换成正则表达式，所有的正则表达式转变成更短的正则表达式；使用贪心算法将程序同一个状态的状态信息的正则表达式提取出最短的正则表达式。

9.根据权利要求1所述的基于海量日志数据实时监控的分散标签特征提取方法，其特征在于：所述S7中提取标签特征的方法包括将序列规则输出到JSON文件，JSON文件用于新的日志文件；如果当前的日志信息匹配JSON文件中的某一项，则日志对应的软件处于正常运行状态，否则认为软件出现故障或存在潜在风险。