[发明专利]一种自适应的基于知识图谱的应用故障自动根因定位方法

说明书

本发明公开了一种自适应的基于知识图谱的应用故障自动根因定位方法，包括离线训练部分和在线根因定位两部分，离线训练部分使用CMDB数据和应用调用关系构建软硬件知识图谱；使用历史的告警或者故障告警数据挖掘告警知识图谱；在线根因定位的输入是故障时段的告警数据和离线训练过程中训练得到的两个知识图谱，即软硬件知识图谱和告警知识图谱，然后通过根因定位算法得到故障根因节点和故障的传播路径。本发明使用告警分类算法和因果挖掘算法自动从历史告警数据挖掘抽象告警分类和抽象告警分类之间的因果关系来构建告警知识图谱，提升了后续告警降噪聚类和根因定位的效果和可解释性。

技术领域

本发明涉及知识图谱的应用故障领域，具体是指一种自适应的基于知识图谱的应用故障自动根因定位方法。

背景技术

告警是工程师为了保证IT服务质量通过在搜集的各种各样的监控数据(指标，日志等)设置的一系列专家规则触发产生的数据。当告警发生时，运维工程师会去核查每一条告警数据去确认系统是否发生以及发生了什么故障。由于在线系统的体量和复杂性，发生故障是不可避免的，并且，由于系统组件复杂的依赖关系以及不同监控系统之间存在冗余监控，一旦系统的某个组件发生故障会触发连锁反应导致系统多个组件发生问题，并且同一问题可能会触发多个监控系统产生告警，进而会在短时间内触发海量告警，称为告警风暴。在这种情况下，运维人员难以高效的进行故障分析和根因定位。

目前的解决方案一是基于交叉熵的告警聚类，具体来讲就是按照告警的场景和规则，利用交叉熵对告警信息进行聚类，实现告警的收敛，通过这种方式来提升运维人员故障分析的效率。二是，通过建立专家规则来进行辅助根因定位。

现有技术存在以下缺点：

1.需要人工去梳理和维护告警的收敛规则

2.需要人工去梳理和维护根因定位的规则

3.人工规则的确定依赖于专家经验，本身可能不准确，并且在系统更新后可能不适用了。

4.当系统引入新的告警规则，需要人工去更新规则来应对新的告警规则。

5.基于告警收敛的方法不能直接给出故障根因，且基于交叉熵的告警收敛效果有限，该方法只能减少30％左右的告警，无法有效的解决告警风暴的问题。

6.不能将与系统故障相关的告警都聚合在一起，即不能很好的帮助故障诊断。

7.通用性低，不同的系统可能需要重新配置新的人工规则，配置成本和效率低。

8.可解释性低

9.不能自动给出准确的根因节点和故障传播路径。

基于上述多个原因，一种自适应的基于知识图谱的应用故障自动根因定位方法成为整个社会亟待解决的技术问题。

发明内容

本发明主要解决了以下问题：

(1)系统故障产生时，会导致告警风暴，运维人员没有高效的手段进行自动的告警降噪聚类，导致需要核查的告警数过多。

(2)产生告警风暴时，运维人员没有有效的手段进行自动的根因定位和故障传播链分析。

(3)现有的告警降噪聚类和根因定位技术基本是基于专家规则，维护困难、维护成本高，且可迁移性弱。

为解决上述技术问题，本发明提供的技术方案为：一种自适应的基于知识图谱的应用故障自动根因定位方法，包括离线训练部分和在线根因定位两部分，所述离线训练部分使用CMDB数据和应用调用关系构建软硬件知识图谱；使用历史的告警或者故障告警数据挖掘告警知识图谱；

所述在线根因定位的输入是故障时段的告警数据和离线训练过程中训练得到的两个知识图谱，即软硬件知识图谱和告警知识图谱，然后通过根因定位算法得到故障根因节点和故障的传播路径。