[发明专利]基于日志时空特征分析的分布式系统异常检测方法

权利要求书

1.一种基于日志时空特征分析的分布式系统异常检测方法，其特征在于包括：

S1：收集分布式系统的原始日志，包括日志的时间戳、级别、代码位置和日志记录的分布式系统运行过程的详细信息文本，将收集到的原始日志进行存储；

S2：从分布式系统历史运行过程中提取出若干原始日志序列作为训练样本，每个原始日志序列中包含K个连续的原始日志，K的取值根据实际需要进行设置，对每个原始日志序列进行标签标注，如果该原始日志序列中包含异常情况，则标签为1，否则标签为0；

S3：对原始日志序列中的每个原始日志分别进行解析，将每个原始日志中的“时间戳”、“级别”、“代码位置”信息去除并将详细信息中的IP地址参数用通配符*进行匹配，得到该原始日志对应的日志模板，进而得到原始日志序列对应的日志模板序列；

S4：对于每个日志模板序列，将其中每个日志模板中的标点符号和通配符用空格代替，然后获取日志模板中单词数量作为日志模板长度，当日志模板长度小于预设的统一日志模板长度N，则使用预设的默认字符串对该日志模板填充至长度N，当日志模板长度大于预设的统一日志模板长度N，则去除最后的单词将日志模板长度缩短为N，否则不作任何操作；

S5：采用语义特征嵌入和统计特征嵌入结合的方式对日志模板子序列进行语义向量化，具体方法为：

记日志模板序列中第k个日志模板为(a_k,1,a_k,2,…,a_k,N)，a_k,i表示第k个日志模板中第i个单词，k＝1,2,…,K，i＝1,2,…,N；对日志模板中的单词使用word2vec算法进行词嵌入，记e_k,i为单词a_k,i进行词嵌入得到的M维向量；然后基于TF-IDF方法获取每个单词的权值t_k,i：统计单词a_k,i在日志模板中的词频和tf_k,i和逆文档频率idf_k,i，计算权值t_k,i＝tf_k,i×idf_k,i；根据词嵌入向量e_k,i和权值t_k,i，得到第k个日志模板中第i个单词的语义向量v_k,i＝e_k,i×t_k,i，从而得到第k个日志模板的大小为N×M的语义向量矩阵为V_k：

然后将日志模板序列中所有日志模板的语义向量构成大小为N×M×K的日志模板语义向量序列F：

S6：构建异常检测模块，包括K个特征提取模块、K个遮蔽(mask)模块、1个转换器(Transformer)网络、1个全连接层和1个softmax层，其中：

N个特征提取模块分别提取日志模板语义向量序列中第n个单词对应的语义向量序列(v_1,i,v_2,i,…,v_K,i)的时间特征T_i，时间特征T_i的维度设置为H×W×L，然后将时间特征T_i发送至转换器网络；

N个遮蔽模块分别提取日志模板语义向量序列中日志模板语义向量序列中第n个单词对应的语义向量序列(v_1,i,v_2,i,…,v_K,i)的位置特征s_i，位置特征s_i的维度设置为H，然后将位置特征s_k用0填充得到维度为H×W×L的三维位置特征S_i，然后将位置特征S_i发送至转换器网络；

转换器网络根据接收的N个时间特征T_i和位置特征S_i，提取得到日志模板语义向量序列的时空特征X并发送至全连接层；

全连接层用于对接收到的时空特征X进行整合，转化为一维特征并输出至softmax层；

softmax层用于根据接收到的特征进行预测，得到原始日志序列是否存在异常的结果；

S7：将作为训练样本的原始日志序列对应的日志模板语义向量序列作为输入，原始日志序列对应的标签作为期望输出，对步骤S6构建的异常检测模型进行训练，得到训练好的异常检测模型；

S8：当需要对分布式系统进行异常检测时，首先从待检测时间段提取连续的K个原始日志构成待检测原始日志序列，然后采用步骤S3中的方法进行日志解析，采用步骤S4中的方法进行日志模板预处理，采用步骤S5中的方法进行日志模板语义向量化，得到待检测原始日志序列对应的日志模板语义向量序列，将其输入至训练好的异常检测模型，得到待检测原始日志序列的异常检测结果。