[发明专利]一种基于深度学习的云计算系统异常检测方法

摘要

发明涉及一种基于深度学习的云计算系统自动化故障检测方法。基于聚类将格式和内容相似的日志进行聚集，进而提取日志模式；将每个模式作为一个词，并将离散模式集作为一个文档，从而得到低维度特征空间；使用递归神经网络处理标记数据以得到跨序列的依赖性，从而生成信号以检测云计算系统异常。

主权项

1.一种基于深度学习的云计算系统自动化故障检测方法，方法特征在于实现步骤如下：第一步，日志信息和时间戳标准化：将空格作为分隔符，用来分开除了数字之外的所有单词和特殊符号；对日志数据进行标记以识别和检索每个日志记录的单词或短语的基本信息；检测所有的时间戳并将其转换为标准格式；第二步，日志聚类：采用分层聚类生成异构日志的层次结构，根据位置将日志从粗到细粒度组织成树结构；将较为稀疏的数据区域内的密集数据区域作为聚类，形成较稀疏区域的子聚类；第三步，模式识别与匹配：生成日志的整体语法结构；从叶子向后传播到根节点，以生成日志模式；对输入的异构日志进行解析，表示为正则表达式；任何输入日志都将与提取的日志模式，即正则表达式匹配；第四步，异常检测：给定云计算系统组件为，控制台日志集合为，推断在时间窗口内发生异常的概率为，输入是长度为的历史特征序列：；目标是二元向量：在时刻的检测期内发出报警以及不在……检测期内未发出警报的概率分布；检测网络的输出是一个二进制向量，以表示系统状态，。