[发明专利]一种基于高斯混合隐马尔可夫模型的系统故障预测方法

说明书

本发明公开了一种基于高斯混合隐马尔可夫模型的系统故障预测方法，该方法包括以下步骤：预处理原始日志文件，并进行标记；提取日志文件特征，构造特征向量；用滑动窗口为每种待预测故障构造对应的数据集；为每种待预测的故障分别训练高斯混合隐马尔可夫故障预测模型；通过训练好的高斯混合隐马尔可夫模型预测预测实时日志是否会发生故障以及会发生的故障类型。通过本发明的技术方案，解决了原始日志文件的交错问题和冗余问题，使得提取的特征更少而精；采用高斯混合隐马尔可夫模型对系统发生故障前的系统状态和日志进行建模，从而快速精准地预测系统故障，提高了系统的可用性。

技术领域

本发明属于智能运维领域，具体针对系统故障预测问题，尤其涉及一种基于高斯混合隐马尔可夫模型的系统故障预测方法。

背景技术

在过去的十年中，软件系统的复杂性随着需求的增长而不断提高。软件的复杂性、人类思维行为和其他资源约束的问题使得开发无故障软件变得非常困难。高复杂性的软件系统需要保障其可靠性。软件故障预测通过使用基本预测指标和历史故障数据来预测未来软件故障倾向，通过预测结果排除潜在可能发生的故障。这种对软件系统故障防范于未然的方法有利于提升软件系统的可用性与使用效率。但是通过日志这种半结构化的文本类型数据，预测系统故障问题有两点值得改进：

故障预测的效果和效率有进一步的提升空间

基于传统机器学习模型如支持向量机、聚类的故障预测算法，预测的精确率、召回率都在80％左右，可以进一步提升。基于深度学习如CNN和LSTM的故障预测算法虽然精确率达到了90％，但模型的训练时间和预测时间要明显高于传统机器学习模型，所以在故障预测的效率方面可以进一步提升。

需要更加有效的数据预处理方法

经分析日志序列有三种特点：

长期内的有序性：在较长的时间内，系统进行状态转换时的一系列行为会产生按时间顺序排列的日志，因此在分析挖掘频繁日志序列时不能破坏日志序列的顺序。

短期内的交错性：由于系统集群规模较大，可能在同一节点或不同节点同时执行多项不同的任务，执行每项任务的同时产生相应日志。这些日志按时间顺序排列，形成日志序列，造成某一任务的日志序列中会穿插其他任务的日志，从而破坏了这种任务对应的日志正常顺序。

短期内的冗余性：系统的某个组件在短期内大量访问(尤其是在发生故障时)，由此产生大量同类型日志。例如发生请求连接错误时，系统会立即再发出连接请求，直至连接成功或达到某条件才停止。在基于日志的故障预测方法中，这样的冗余日志不仅会增加计算成本，也会淹没其他重要日志，不利于频繁日志序列的分析。不过在短时间内大量产生某种日志，可能也是某种故障的特点，因此也需要保留一定比例的冗余日志。

由于部分冗余日志的保留，可能会使某段时间内日志数量多，种类少。传统的日志数据预处理方法，将每条日志看作一个独立的样本，提取特征向量。这种方法一方面造成需要分析的样本数量太多；另一方也造成这个时间段内的有用信息量较少。所以需要一种更好的日志数据预处理方法，使得处理后的数据集能更具有代表性。

发明内容

针对以上研究背景和问题，本发明提出了一种基于高斯混合隐马尔可夫模型的系统故障预测方法：根据历史系统日志，分别为每种需要预测的故障类型构建一个GMM-HMM模型，预测时将系统实时日志序列分别输入每个GMM-HMM模型，计算每个模型下该日志序列出现的概率，基于概率判断是否发生故障或发生故障类型。

本发明的技术方案为一种基于高斯混合隐马尔可夫模型的系统故障预测方法，具体步骤如下：

步骤1：将原始日志文件数据集通过预处理得到预处理后日志文件数据集，将预处理后日志文件数据集每个预处理后日志文件通过关键词提取方法提取每个预处理后日志文件的多个关键词，进一步构建词频矩阵，将词频矩阵采用凝聚层次聚类法在预处理后日志文件数据集中提取多个聚类后预处理后日志文件，人工标记每个聚类后预处理后日志文件的类型；