[发明专利]一种基于词嵌入的日志参数异常检测方法

说明书

本发明公开了一种基于词嵌入的日志参数异常检测方法，1.将日志中的所有参数解析出来，并将所有参数中的离散参数单独划分出来；2.将离散参数转换为连续的参数词向量；3.使用长短期记忆神经网络模型训练参数词向量，使用训练完成的参数词向量预测后续目标时刻的参数词向量；4.使用余弦相似度来确定预测参数词向量与目标参数词向量的关联程度，通过关联程度计算损失值，从而将损失值反馈网络，进行更新和优化模型，直至收敛；5.获取日志进行参数异常检测，计算预测参数和目标参数的余弦相似度，余弦相似度低于阈值则为检测到日志参数异常。能够有效解决因参数动态性和差异性带来的检测瓶颈，提升日志检测整体的准确率。

技术领域

本发明属于互联网技术领域，涉及一种基于词嵌入的日志参数异常检测方法。

背景技术

日志是计算机各类系统重要的组成部分，系统日志可以反映计算机程序的执行过程与状态，同时也可以识别系统与程序在执行过程中产生的错误和异常。由于日志的重要意义，日志的异常检测一直是一个研究的热点问题，目前的绝大部分异常检测方法将日志分类为固定格式的日志模板，通过日志模板的时序信息，通过数据统计、机器学习、深度学习等方法完成日志的异常检测。然而在各种类型的计算机日志中，除了固定格式和类别的日志模板，还存在大量动态的日志参数。通过日志模板可以识别出程序执行顺序方面的异常，但是也有一些异常仅仅通过日志模板的时序是无法检测的。参数是动态的，具体表现在文字内容和数量的动态，即参数本身数值会随着时序的推进发生改变，不同日志模板的参数格式与数量也存在差异。近似于变量的参数，不仅在日志中引入了不确定性，同样也给日志检测增大了难度。

针对难度较大的参数异常检测，有的方法以日志模板为基础，将参数按照日志模板划分为了不同的参数向量，为每一个日志模板单独训练深度学习模型完成时间参数的异常检测。这种方法只针对于连续类型的参数变量，且模型冗余，不具备实际部署能力。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供一种基于词嵌入的日志参数异常检测方法，能够有效解决因参数动态性和差异性带来的检测瓶颈，提升日志检测整体的准确率。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于词嵌入的日志参数异常检测方法，其特征在于，包括如下步骤；

步骤一、将日志中的所有参数解析出来，并将所有参数中的离散参数单独划分出来；

步骤二、将离散参数转换为连续的参数词向量；

步骤三、使用长短期记忆神经网络模型训练参数词向量，使用训练完成的参数词向量预测后续目标时刻的参数词向量；

步骤四、使用余弦相似度来确定预测参数词向量与目标参数词向量的关联程度，通过关联程度计算损失值，从而将损失值反馈网络，进行更新和优化模型，直至收敛；

步骤五、获取日志进行参数异常检测，计算预测参数和目标参数的余弦相似度，余弦相似度低于阈值则为检测到日志参数异常。

优选的，步骤一中，通过Spell方法解析出日志中的所有日志模板，按照日志模板过滤出日志中的所有参数，并通过正则化判断的方式将离散参数单独划分出来。

优选的，步骤二中，以所有离散参数构造词向量词典，对词向量词典进行词嵌入训练，经过自监督的word2vec模型训练后，词向量词典中的所有有效词语都转换成了彼此之间相互关联的固定维度数值的参数词向量，即连续的参数词向量。

优选的，步骤三中，将参数词向量从词向量词典中筛选出来，按照原本的时序顺序，以参数位置和日志时序折衷的方式进行数据处理，每次的输入是目标时刻的日志前一定窗口内的完整的日志中所有参数词向量，使用长短期记忆神经网络模型计算和预测后续目标时刻的参数词向量。

进一步，长短期记忆神经网络模型包括依次连接的一个输入层、多个隐藏层和一个输出层。