[发明专利]一种云平台日志暴增的检测方法、装置、设备、存储介质

说明书

本发明属于日志存储管理技术领域，具体提供一种云平台日志暴增的检测方法、装置、设备、存储介质，所述方法包括如下步骤：将日志按小时粒度提取进行存储，生成单位小时日志条数的时序数据；读取第一阈值天数的时序数据，并判断读取的时序数据是否完整；当读取的时序数据完整时，进行日志条数的处理检测，当判定日志暴增时，将判定结果存入消息队列；订阅消息队列的日志暴增检测主题，当该主题中产生数据时，生成告警通知。将日志按小时粒度提取，生成日志条数的时序数据，继而采用时序数据日志条数检测的方法，判断日志是否暴增。提高了检测的准确性和实时性。

技术领域

本发明涉及日志存储管理技术领域，具体涉及一种云平台日志暴增的检测方法、装置、设备、存储介质。

背景技术

随着OpenStack越来越成熟及业务的不断扩大，随之而来的是日志数据的类型和数据量越来越大，同时日志种类越来越多，包括模块、系统、平台服务等，给日志系统的运维带来了很大难度。在云平台的使用过程中，会遇到某个组件故障或操作系统故障造成日志暴增，造成日志盘满的情况，从而影响系统运行的情况。

传统云平台的都是采用基于阈值磁盘监控方法，即运维人员根据经验设置告警阈值，当监控数据达到此阈值时，产生告警。

但这种告警具有延后性，只有磁盘快满时才会产生告警。但实际的应用过程中发现，日志的阈值告警依赖于平台规模、业务数量等数据，很难设置。阈值设置太高，就会漏掉告警，质量隐患难以发现；阈值设置太低，会产生错误的告警，干扰运维人员的判断。

发明内容

针对采用基于阈值产生告警的方式具有延后性，并且阈值告警依赖于平台规模、业务数量等数据，很难设置。阈值设置太高，就会漏掉告警，质量隐患难以发现；阈值设置太低，会产生错误的告警，干扰运维人员的判断的问题，本发明提供一种云平台日志暴增的检测方法、装置、设备、存储介质。

本发明的技术方案是：

第一方面，本发明技术方案提供一种云平台日志暴增的检测方法，包括如下步骤：

将日志按小时粒度提取进行存储，生成单位小时日志条数的时序数据；

读取第一阈值天数的时序数据，并判断读取的时序数据是否完整；

当读取的时序数据完整时，进行日志条数的处理检测，当判定日志暴增时，将判定结果存入消息队列；

订阅消息队列的日志暴增检测主题，当该主题中产生数据时，生成告警通知。

将日志进行提取存入数据库中生成每小时日志条数的时序数据，通过验证时序数据的完成性进行时序数据日志条数的检测，根据检测结果判定日志是否异常，并将异常判定结果存入消息队列，通过对消息队列的主题进行订阅当该主题中产生数据时，生成告警，解决了阈值检测延时性高，并且经常造成误判的问题，从而保证云平台的正常稳定运行。

优选地，将日志按小时粒度提取进行存储，生成单位小时日志条数的时序数据的步骤包括：

遍历日志目录中的所有文件，对每一个文件筛选上一小时的数据并统计条数；

对所有文件的日志条数统计求和，将结果存入到数据库中，生成每小时的日志条数的时序数据。

将日志中的条数提取并聚合为具有时间序列格式的指标，这样就可以从时间序列中识别日志条数的异常。

优选地，读取第一阈值天数的时序数据，并判断读取的时序数据是否完整的步骤包括：

读取第一阈值天数的时序数据；

判断读取的第一阈值天数的时序数据的小时数是否大于实际点数的第四百分比；其中实际点数为第一阈值乘以24小时；

若是，判断第二阈值百分比的时序数据的行数是否大于第三阈值；