[发明专利]一种基于单一状态机的网络日志解析方法

说明书

本发明提供了一种基于单一状态机的网络日志解析方法，本发明语法简单、复用率高，因为状态机的特性，可以提取出高频共用的规则为公共状态机，实现复用，例如各种格式的时间、地区、设备厂商、IP地址等，新日志可以继续使用旧有的抽取的关键字直接替代；执行效率高，在日志处理过程中只经过一个整合过的状态机，不再有多余的处理；可扩展性强，通过不断编译增强的状态机可以解决各种复杂日志，在利用共用的关键字的基础上，增加相关规则即可；还原业务场景度较高，在现实场景下，对单词的识别会比一串字符有更高的识别准确率，加入词义的规则过滤，更加有利于消除日志表述中的歧义，为数据采集提供更准确的信息。

技术领域

本发明涉及网络日志解析技术领域，特别是一种基于单一状态机的网络日志解析方法。

背景技术

随着大数据业务在各个行业的普及，针对各种数据源的安全分析变的越来越重要。其中网络设备日志是数据安全分析最重要的数据类型，但其具有复杂、多样、不规则以及可深度挖掘等特性，业务场景还原和有效价值分析难度比较高。

为了解决这些问题，业界使用了各种数据解析方式，比如业界广泛使用的logstash中的grok、awk/gred等等。这些大多基于正则解析，业务场景明晰，但在数据量较大、数据不规范以及自身特性决定的上下文依赖的场景下，执行效率较低，网络设备所要表达的含义还原度不高，代码也随着业务复杂度的提升变的更加复杂、不易维护。例如，在图1中，在极端情况下，数据会经过所有的规则到达终点，而事实上网络设备产品有上百种，就会有上百种规则。

发明内容

本发明的目的是提供一种基于单一状态机的网络日志解析方法，旨在解决现有技术中网络日志解析在数据量大、数据不规范的情况下执行效率低的问题，实现提高执行效率以及扩展性。

为达到上述技术目的，本发明提供了一种基于单一状态机的网络日志解析方法，所述方法包括以下操作：

将字符串、字符、数字、通用以及量词状态机组装成单一状态机；

日志内容作为字符流驱动状态机的状态转移，字符流的每个字符驱动状态机通过当前字符所符合的条件转移转移到下一个状态，并执行该条件转移上定义的动作；

当日志内容的字符流流尽，状态机转移到最终状态，完成匹配。

优选地，所述状态机提取高频共用规则为公共状态机，进行复用，包括各种格式的时间、地区、设备厂商、IP地址。

优选地，所述状态机在利用共用的关键字的基础上，增加相关规则，形成新的状态机。

优选地，所述该条件转移上定义的动作包括：标记、关键字、值，通过标记起始位置，提取起始位置以及当前位置之间的字串作为关键字或值。

优选地，所述方法以单个字符驱动状态机。

优选地，所述方法还包括：基于词义进行状态机的执行，以词驱动状态机。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

与现有技术相比，本发明语法简单、复用率高，因为状态机的特性，可以提取出高频共用的规则为公共状态机，实现复用，例如各种格式的时间、地区、设备厂商、IP地址等，新日志可以继续使用旧有的抽取的关键字直接替代；执行效率高，在日志处理过程中只经过一个整合过的状态机，不再有多余的处理；可扩展性强，通过不断编译增强的状态机可以解决各种复杂日志，在利用共用的关键字的基础上，增加相关规则即可；还原业务场景度较高，在现实场景下，对单词的识别会比一串字符有更高的识别准确率，加入词义的规则过滤，更加有利于消除日志表述中的歧义，为数据采集提供更准确的信息。

附图说明

图1为现有技术中所提供的规则匹配流程图；