[发明专利]日志异常检测方法及装置

权利要求书

1.一种日志异常检测方法，其特征在于，该方法包括：

S10、获取多条原始日志记录，作为待检测日志序列；

S20、基于预先建立的日志模板库，提取所述待检测日志序列的变量特征、窗口特征、顺序特征；所述日志模板库是通过对历史日志记录进行日志解析，模板抽取得到的；所述变量特征为日志记录的数值型变量值，所述窗口特征为时间窗口内各日志模板出现的次数，所述顺序特征为根据日志记录的输出顺序得到的日志模板序列；

S30、对所述待检测日志序列进行异常检测，包括：

基于所述变量特征，通过统计学法或聚类法对所述待检测日志序列中每个日志记录中的数值型变量的变量值进行异常检测，以确定变量值异常的日志记录；

基于所述窗口特征，通过主成分分析法对所述待检测日志序列中每个时间窗口内日志记录出现的频率进行异常检测，以确定频率异常的时间窗口中的日志记录组；

基于所述顺序特征，通过有限自动机的方法检测所述待检测日志序列中日志记录子序列是否属于预先建立的任务集合，以确定行为异常的日志记录子序列；

所述变量特征的提取方法包括：

对所述待检测日志序列中的每一条日志记录，从所述日志模板库中匹配得到其使用的日志模板；

对所述待检测日志序列中的每一条日志记录，基于日志记录使用的日志模板提取数值型变量值作为该日志记录中相应变量的变量特征；

所述日志模板库的建立方法，包括：

步骤21、对批量的历史日志记录拆分字符和驼峰命名词，得到第一日志数据；

步骤22、用标签分词替换所述第一日志数据中的常见格式参数，所述常见格式参数包括但不限于：时间、日期、ip地址和路径，得到第二日志数据；

步骤23、构建多叉树结构，将所述第二日志数据中的日志记录逐条以分词为节点输入所述多叉树结构；

步骤24、遍历树形结构每一个节点的孩子节点，识别其数据格式；

步骤25、将同一格式的数量超过第一阈值且超过孩子节点预设比例的相同格式进行合并；

步骤26、将多叉树的叶子节点的id作为日志记录模板的日志模板标号，基于所有叶子节点建立日志模板库。

2.根据权利要求1所述的日志异常检测方法，其特征在于，所述窗口特征的提取方法包括：

对所述待检测日志序列中的每一条日志记录，从所述日志模板库中匹配得到其使用的日志模板；

对所述待检测日志序列以预设长度的滑动窗口进行切分，统计每个窗口中各个日志模板出现的次数，作为时间窗口的窗口特征。

3.根据权利要求2所述的日志异常检测方法，其特征在于，每次滑动窗口滑动的距离为半个窗口。

4.根据权利要求3所述的日志异常检测方法，其特征在于，基于所述窗口特征，通过主成分分析法对待检测日志序列中每个时间窗口内日志记录出现的频率进行异常检测，包括：

基于每个时间窗口的窗口特征，生成窗口日志数量向量；

基于所述窗口日志数量向量，计算其在预先建立的残差子空间的平方预报误差，当平方预报误差大于预先确定的控制限时，当前时间窗口为异常的时间窗口；其中，所述残差子空间基于系统正常运行的日志记录通过主成分分析法建立。

5.根据权利要求1所述的日志异常检测方法，其特征在于，基于所述变量特征，通过统计学法或聚类法对待检测日志序列中每个日志记录中的数值型变量的变量值进行异常检测，包括

基于所述变量特征，将属于相同模板的相同数值型变量的变量值生成数据序列；

从所述数据序列中顺次提取N个数据，通过统计学法或聚类法进行异常检测。

6.根据权利要求5所述的日志异常检测方法，其特征在于，所述统计学法基于3sigma法则建立，N的取值为100。

7.根据权利要求1所述的日志异常检测方法，其特征在于，所述任务集合的建立方法包括：

获取批量的历史日志记录；

确定所述历史日志记录使用的日志模板；

基于所述日志模板，提取批量的历史日志记录的顺序特征；

基于所述顺序特征，通过统计方法生成日志的的共现矩阵，所述共现矩阵为三维数组，第一维和第二维是日志模板数量，第三维是日志各个模板输出位置的距离；

使用基于密度聚类的方法生成日志记录的任务集。