[发明专利]基于ELK的大数据告警方法、装置、设备及存储介质

说明书

本申请实施例公开了一种基于ELK的大数据告警方法、装置、设备及存储介质，涉及大数据处理技术领域。一种基于ELK的大数据告警方法，包括：采集业务的原始结果数据；对原始结果数据执行清洗加工，以获取有效数据；对有效数据执行多维度的数据抽取；获取每一项数据特征在总体数据中所占的比例，并分配特征权重；生成多类告警特征的特征值，生成告警消息进行推送。所述方法通过对由原始数据获取的有效数据进行多维度的数据抽取，可以深入到更细粒度的分析，从而更好地发现业务逻辑或者功能点中的异常，并结合特征权重和特征值这两种影响告警策略的参数调整告警策略，能够实现动态地调整告警策略，避免告警的误报和骚扰等问题。

技术领域

本申请实施例涉及大数据处理技术领域，特别是一种基于ELK的大数据告警方法、装置、设备及存储介质。

背景技术

日志，在计算机系统里面，是极其重要的组成部分。日志主要包括系统日志、业务日志以及安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、查阅日志信息以及分析错误发生的原因等。但是由于现在的计算机系统大多比较复杂，很多系统都不是在一个地方，甚至都是跨国界的。而且随着现在计算机系统的日益复杂，大数据时代的来临，越来越容易就涉及到几十甚至上百台的服务器，它们都在不停产生各种各样的日志数据。面对如此海量的日志数据，又是分布在各个不同地方，如果我们需要去查找一些重要的信息，使用传统的工具和方法会显得非常笨拙和低效。因此迫切地需要有一套针对日志的集中式管理方法，把不同来源的数据集中整合到一个地方，集中式日志系统的概念因此产生。业务系统运行中可以通过集中式日志系统实时监控其性能和关键技术指标，当出现异常时会产生日志类的告警信息，当告警产生时，运维人员查看告警信息，并去查找是否有对应的应急预案。

但是目前常见通过集中式日志系统进行的业务监控告警和分析，主要是针对机器、或者业务接口响应码来告警，没有深入到接口响应内容的分析，很难发现业务逻辑或者功能点异常的问题，告警的细粒度不够，且告警策略比较单一，无法满足快速发现问题的同时又尽量避免误报和骚扰。

发明内容

本申请实施例所要解决的技术问题是，提供一种基于ELK的大数据告警方法、装置、设备及存储介质，可以基于集中式日志系统深入到更细粒度的分析，能够动态地调整告警策略，解决告警策略过于单一的缺陷。

为了解决上述技术问题，本申请实施例所述的一种基于ELK的大数据告警方法，采用了如下所述的技术方案：

一种基于ELK的大数据告警方法，包括：

采集业务的原始结果数据；

通过Logstash对所述原始结果数据执行清洗加工处理，以获取有效数据；

通过ElasticSearch对所述有效数据执行多维度的数据抽取，以生成多维度的若干项数据特征；

获取每一个维度的若干项数据特征和每一项数据特征在所述若干项数据特征的总体数据中所占的比例，并基于所述比例为每一项所述数据特征分配特征权重；

基于各项数据特征对应的特征权重生成多类告警特征的特征值，聚合所述多类告警特征并基于聚合的多类告警特征生成告警消息进行推送，或分别为每一类告警特征生成告警消息进行推送。

本申请实施例所述的基于ELK的大数据告警方法，通过对由原始数据获取的有效数据进行多维度的数据抽取，可以深入到更细粒度的分析，从而更好地发现业务逻辑或者功能点中的异常；而通过计算各个维度的每项数据特征在若干项数据特征的总体数据中的所占比例并合理分配其特征权重，并结合特征权重和特征值这影响告警策略的参数调整告警策略，能够实现动态地调整告警策略，避免告警的误报和骚扰等问题。

进一步的，所述的基于ELK的大数据告警方法，所述采集业务的原始结果数据的步骤之前，所述方法还包括：

监控至少一种业务数据源的日志；所述原始结果数据记录在所述日志中。