[发明专利]一种复杂网络体系下异构安全日志信息的提取与分析方法

权利要求书

1.一种复杂网络体系下异构安全日志信息的提取与分析方法，它包括：

步骤A、学习阶段：持续采集异构安全日志数据，采用分词工具对日志数据 结构进行分拆，按照正则匹配对日志中指定位置的字段数据进行内容属性定义， 动态构建日志信息提取决策树，该决策树信息随着新的日志结构的加入不断更 新；

步骤B、缓存阶段：对学习构建的日志信息提取决策树信息在计算机内存中 进行缓存，该缓存根据决策树动态学习过程实时更新；以文本形式存储于硬盘， 该存储信息周期性更新；

步骤C、解析阶段：新采集日志数据，根据日志数据信息提取决策树进行解 析，按照日志报送地址、日志类型、日志各位置字段逐层解析，形成规范格式 的安全日志信息数据。

2.根据权利要求1所述的一种复杂网络体系下异构安全日志信息的提取与 分析方法，其特征在于：它还包括：步骤D、人工优化：用户对日志信 息提取决策树中的内容属性定义进行人工设置，将经过人工设置规范化 后的安全日志信息存储进入数据库系统。

3.根据权利要求1所述的一种复杂网络体系下异构安全日志信息的提取与 分析方法，其特征在于：步骤1所述的学习阶段，具体步骤包括：

步骤A1、通过SYSLOG协议采集一条安全日志记录，作为SYSLOG日志，通 过对协议头部分解析获取该SYSLOG日志的报送设备IP，以报送设备IP作 为决策树一级节点；

步骤A2、采用分词工具对SYSLOG日志中代表原始日志的MSG字段进行分词， 并按顺序对分词字段进行索引；

步骤A3、对各分词字段进行正则匹配分析，获取各个分词字段的内容属性；

步骤A4、通过各分词字段属性和对应索引计算“日志解析指纹”，将日志解 析指纹作为决策树的二级节点；

步骤A5、将各分词字段的索引和内容属性作为决策树的三级节点；

步骤A6、不断学习新的SYSLOG日志，动态更新决策树。

4.根据权利要求3所述的一种复杂网络体系下异构安全日志信息的提取与 分析方法，其特征在于：所述计算日志解析指纹，其算法表达式为： S₀R₀-S₁R₁-S₂R₂-S₃R₃···S_nR_n

式中：S_i(i＝0,1,2,3…n,n是分词字段总个数)是各个分词字段的索引；

R_i(i＝0,1,2,3…n,n是分词字段总个数)是各个分词字段对应的内容正则解 析规则。

5.根据权利要求3所述的一种复杂网络体系下异构安全日志信息的提取与 分析方法，其特征在于：所述分词工具为：采用以标志切分为手段的基 于字符串的分词算法，具体工具是采用开源StandardAnalyzer分词算 法。

6.根据权利要求1所述的一种复杂网络体系下异构安全日志信息的提取与 分析方法，其特征在于：所述日志信息提取决策树的结构是：第一层级 为报送SYSLOG日志的设备IP；第二层级是日志类型的解析指纹；第三 层级是第二层级日志类型的解析指纹对应的解析内容属性。

7.根据权利要求1所述的一种复杂网络体系下异构安全日志信息的提取与 分析方法，其特征在于：步骤B所述的日志信息提取决策树信息在计算 机内存中进行缓存，其缓存数据结构以多层HashMap嵌套的方式实现， 日志信息提取决策树在硬盘的存储的文本格式以XML技术存储。

8.根据权利要求1所述的一种复杂网络体系下异构安全日志信息的提取与 分析方法，其特征在于：步骤C解析阶段的具体步骤包括：

步骤C1、采集SYSLOG日志数据，解析其报送设备IP信息，匹配日志数据 信息提取决策树一级节点，定位该日志数据信息对应的决策分支，如果匹配不 上，则进入步骤A学习阶段；

步骤C2、采用分词工具对SYSLOG日志数据中代表原始日志的MSG字段进行 分词，并按顺序对分词结果进行索引；

步骤C3、对各分词字段进行正则匹配分析，获取各个分词字段的内容属性；

步骤C4、计算获得该日志的“日志解析指纹”，匹配日志信息提取决策树二 级节点，定位该日志对应的解析分支；

步骤C5、通过该日志分词数据与决策树三级节点的对应，获得对该日志数 据的解析结果。