[发明专利]基于日志时空特征分析的分布式系统异常检测方法

说明书

本发明公开了一种基于日志时空特征分析的分布式系统异常检测方法，从分布式系统历史运行过程所收集的原始日志中提取出若干原始日志序列作为训练样本，对于原始日志序列进行解析得到原始日志序列对应的日志模板序列，对日志模板序列中的日志模板进行进一步处理后进行语义向量化得到日志模板语义向量序列，构建异常检测模型，采用训练样本对异常检测模型进行训练，当需要对分布式系统进行异常检测时，获取待检测时间段的日志模板语义向量序列，输入训练异常检测模型得到异常检测结果。本发明通过充分考虑日志的时间和空间特征，提高异常检测的准确率，保证分布式系统的安全性和可靠性。

技术领域

本发明属于智能设备运维技术领域，更为具体地讲，涉及一种基于日志时空特征分析的分布式系统异常检测方法。

背景技术

随着系统规模和功能的增长，现代大规模分布式系统正变得越来越复杂。异常检测成为确保分布式系统安全性和可靠性的一个重要部分。日志描述了分布式系统的运行状态，并记录了系统中每个组件的执行情况，如分布式系统的服务节点之间的远程过程调用(RPCs)、硬件故障、进程运行时的错误和软件配置的变化等。与传统的通过监控系统指标来判断系统健康状况相比，基于日志的异常检测具有一定的优势。首先，日志支持更细化的诊断技术来定位错误日志或事件。其次，日志允许跟踪程序执行逻辑，捕捉跨组件和服务的程序执行和性能异常，并捕捉异常细节以定位异常。因此，分析系统日志以检测分布式系统运行中产生的故障，对于确保分布式系统的安全性和可靠性至关重要。

然而，尽管大多数日志都写有日志级别(例如，“INFO”、“WARNING”、“ERROR”)，但这些级别并不一定真实反映了系统的运行状态。例如，四个日志的级别都是“FATAL”，也就是说，按照传统的日志级别判断，这四个日志都属于严重级别，但是仔细分析这些日志，只有第一个日志引起了系统错误，其余的日志都出现了错误，但没有引起系统错误。因此，目前的研究大多是基于日志事件中描述的系统的具体情况进行异常检测，而不是基于日志级别。在分布式系统中，分布式系统的服务节点之间会产生大量的远程过程调用(RPCs)。系统的日志组件记录了相关的操作和过程中调用的方法和参数。这些日志数据是在不同的服务器之间产生的，具有明显的空间特征。同样地，由于分布式系统的日志是按时间顺序产生的，它们记录的时间信息，如时间戳，所以这些日志也具有时间特征。近年来，随着机器学习和深度学习的快速成功发展，在机器学习或深度学习的辅助下维护分布式系统，保证分布式系统的稳定性已经成为可能。目前，已经有一些基于机器学习或深度学习的方法专注于分布式系统日志的时间特征进行异常检测，如SVM、PCA、DeepLog、LogAnomaly,HitAnomaly等，还有一些方法专注于分布式系统的空间特征，如TextCNN、OASIS等。

上述深度学习方法在进行日志异常检测时，大多只关注分布式系统日志的时间特征或只关注分布式系统日志的空间特征。值得注意的是，现代大规模分布式系统变得越来越复杂，不同服务节点之间的交互将变得越来越频繁，其产生的日志的空间特征也越来越显著。只考虑分布式系统的时间或空间特征的单一方法存在很大的问题，它们不能完全提取现代大规模分布式系统日志的所有特征，所以异常检测模型不能更清晰地定义异常日志与正常日志的区别，使得异常检测的效率低下，从而造成系统出错甚至宕机的风险。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于日志时空特征分析的分布式系统异常检测方法，充分考虑日志的时间和空间特征，提高异常检测的准确率，保证分布式系统的安全性和可靠性。

为了实现上述发明目的，本发明基于日志时空特征分析的分布式系统异常检测方法包括以下步骤：

S1：收集分布式系统的原始日志，包括日志的时间戳、级别、代码位置和日志记录的分布式系统运行过程的详细信息文本，将收集到的原始日志进行存储；

S2：从分布式系统历史运行过程中提取出若干原始日志序列作为训练样本，每个原始日志序列中包含K个连续的原始日志，K的取值根据实际需要进行设置，对每个原始日志序列进行标签标注，如果该原始日志序列中包含异常情况，则标签为1，否则标签为0；