[发明专利]一种基于日志语义挖掘的系统故障诊断方法及装置

说明书

本发明公开了一种基于日志语义挖掘的系统故障诊断方法及装置。首先，基于神经网络语言模型对输入日志进行训练得到日志事件的语义特征向量。然后，使用改进的K均值聚类算法对日志事件的语义特征向量进行聚类，并使用一种对聚类后的日志向量对应的日志事件进行过滤的方法。最后，应用过滤方法并提取过滤后的日志数据簇中具有代表性的日志事件形成特征日志序列进行检查。本发明的方法可以进行基于日志的系统故障诊断时有效的挖掘日志的相关信息，不仅能够提高故障识别和诊断的效率，还可以提高诊断的有效性，并且降低系统总体成本。

技术领域

本发明涉及无软件工程技术领域，具体涉及一种基于日志语义挖掘的系统故障诊断方法及装置。

背景技术

大规模的在线服务系统正变得愈加庞大和复杂，例如谷歌和亚马逊的系统，它们通常包含上百万个分布式并发组件并为数以亿计的用户提供高并发服务。然而，在这些大型系统中，服务组件每天都会产生大量的日志消息并保存在磁盘中，对于一些提供全球服务的超大型系统，每天产生的日志数据量可能达到10TB以上，例如Microsoft服务系统每天产生的日志数据超过1PB。因此，这些服务系统一旦产生故障，通过手动检查日志以进行系统故障诊断将是不现实的。

当系统在运行过程中产生故障时，工程师需要检查系统运行日志以深入了解故障的产生原因并进行故障排除。通常，工程师通过简单的关键字搜索以查找故障相关的日志信息。这类关键字一般包括“FAIL”，“KILL”等。然而，这种方法对于大规模的在线服务系统来说，面临以下挑战：

(1)现在的大型服务系统为了保证服务的可用性和性能，通常使用故障切换机制。通过在计算节点之间动态分配任务的方式，系统可以主动结束服务并在其他地方重新启动这个服务，这会在日志消息中产生许多大量“FAIL”和“KILL”关键字。因此，简单的关键词搜索会查询到大量无关消息。

(2)由于在线服务的复杂性，产生相同类型故障的服务程序的执行路径可能不同，而且开发人员对服务功能和环境的频繁更改也会增加日志消息的多样性。此外，由于某些日志消息在正常情况和故障情况下都会出现，而某些日志消息仅出现在故障情形中，并且更可能与故障相关，即并非所有的日志消息在故障诊断中都具有相同的重要性。

现有技术中，各种系统故障识别和诊断的方法被提出，例如，通过挖掘日志消息中的变量构造线性日志特征序列以进行故障诊断；通过挖掘频繁日志序列建立日志模型，使用决策树分类器学习和分类系统故障等。

本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：

现有的系统故障诊断方法在对日志进行向量化时大多基于挖掘日志之间的文本特征，但相似的日志消息之间可能会在语义上有较大的差别，从而导致诊断的有效性较差。

发明内容

有鉴于此，本发明提供了一种基于日志语义挖掘的系统故障诊断方法及装置，用以解决或者至少部分解决现有技术的方法存在的诊断的有效性较差的技术问题。

本发明第一方面提供了一种基于日志语义挖掘的系统故障诊断方法，包括：

对原始日志消息中的消息变量进行替换并对日志事件进行标识；

基于PV-DM语言模型，通过三层神经网络训练，得到日志事件的语义特征表达向量；

以日志事件的语义相似性作为度量标准，采用改进的K均值聚类算法对日志事件进行聚类，得到聚类结果，聚类结果包括聚类中心和聚类；

根据日志事件与聚类中心的聚类，提取出各聚类中具有代表性的日志事件，形成特征日志序列，并对形成的特征日志序列进行检查，判断是否出现故障。

在一种实施方式中，在以日志事件的语义相似性作为度量标准，采用改进的K均值聚类算法对日志事件进行聚类，得到聚类结果之后，所述方法还包括：