[发明专利]一种大数据日志监控方法及装置、存储介质和计算机设备

权利要求书

1.一种大数据日志监控方法，其特征在于，包括步骤：

获取日志数据，根据所述日志数据生成日志文件，将所述日志文件以预设格式存储至本地数据库中；

获取监控关键字，从所述本地数据库中查找与所述监控关键字关联的日志文件；

获取监控字段，将与所述监控关键字关联的日志文件与所述监控字段作为键值对，采用MapReduce数据处理模型统计所述日志文件中的监控字段的分类信息；

将所述分类信息发送至指定位置显示。

2.根据权利要求1所述的方法，其特征在于，所述获取监控字段，将所述日志文件与所述监控字段作为键值对，包括：

使用输入格式设置函数job.setInputFormatClass()定义的数据输入规则InputFormat，将所述日志文件分割成小数据块split，所述数据输入规则InputFormat中包括获取监控字段的数据读取组件RecordReader；

所述数据读取组件RecordReader将输入文本的行号作为键key，将所述输入文本作为Value值，形成每个所述小数据块的输入键值对。

3.根据权利要求2所述的方法，其特征在于，所述采用MapReduce数据处理模型统计所述日志文件中的监控字段的分类信息，包括：

调用函数job.setPartitionerClass()对每个所述小数据块输出的中间键值对进行分区，每个分区对应于一个Reducer函数；

调用通过job.setSortComparatorClass()函数设置的键值比较函数类，或通过compareTo()函数类，对每个所述分区内的键Key类进行排序；

调用job.setGroupingComparatorClass()比较函数比较所有分区内的键key；

若两个中间键值对中的键Key相同，将所述两个中间键值对归于同一组，并将其值Value置于同一个Value迭代器，该Value迭代器的键Key为同一组所有键Key的第一个键Key，得到所述日志文件中的监控字段的分类信息。

4.根据权利要求1所述的方法，其特征在于，所述获取监控关键字，从本地数据库中查找与所述监控关键字关联的日志文件之后，还包括：

使用MQ队列将所述日志文件发送给spark分布式框架；

将所述日志文件与所述监控字段作为键值对，包括：

根据spark分布式框架将所述日志文件与所述监控字段作为键值对。

5.根据权利要求1所述的方法，其特征在于，所述获取监控关键字，从本地数据库中查找与所述监控关键字关联的日志文件，获取监控字段，将所述日志文件与所述监控字段作为键值对，包括：

获取监控关键字；

判断所述监控关键字为第一类型还是第二类型；

若所述监控关键字为第一类型，获得所述第一类型的第一时间段，从所述本地数据库中查找在所述第一时间段内的与所述监控关键字关联的日志文件；获取监控字段，判断监控字段的长度是否大于预置值，若是，从全部所述日志文件中，随机获取四分之一的日志文件，将所述四分之一的日志文件与所述监控字段作为键值对；否则，将所述日志文件与所述监控字段作为键值对；

若所述监控关键字为第二类型，获得所述第二类型的第二时间段，从所述本地数据库中查找在所述第二时间段内的与所述监控关键字关联的日志文件；获取监控字段，判断监控字段的长度是否大于预置值，若是，从全部所述日志文件中，获取时间在后的一半的日志文件，将所述一半的日志文件与所述监控字段作为键值对；否则，将所述日志文件与所述监控字段作为键值对。

6.根据权利要求1所述的方法，其特征在于，所述将所述分类信息发送至指定位置显示，包括：

根据远程终端的指令，将所述分类信息发送至指定的终端显示，所述分类信息包括所述监控关键字和所述监控字段。

7.根据权利要求1所述的方法，其特征在于，所述监控字段包括error字段和/或exception字段。