[发明专利]日志处理方法、系统、装置及存储介质

说明书

本发明公开了一种日志处理方法、系统、装置及存储介质，本申请实施例通过存在解析器列表中的正则表达式，先对第一设备日志进行蒙版处理，将需要遮盖的信息遮盖起来，能够有效避免分隔符将本应是整体的信息进行错误分割的情况，无需另外手写正则表达式处理，有助于降低设备日志解析的难度，提高日志解析的效率。另外，由于蒙版内容对于分隔符来说是未知的，因此当蒙版部分对应的字段有缺失或者顺序错误，也不影响后续的日志分割，因此能在一定程度上克服相关技术中对字段缺失、字段顺序敏感的问题。

技术领域

本申请涉及信息处理领域，尤其涉及一种日志处理方法、系统、装置及存储介质。

背景技术

设备在运行过程中具有海量的日志信息，通过这些信息可以获取设备的运行状态，从而达到对设备进行状态分析，状态预测，安全告警等目的。其中，为了便于查看和使用，需要对日志信息进行解析，以提取到更方便处理的结构化信息。

但是，由于现实生活中的设备类型众多，不同设备对应的日志格式可能不同；就算是同一设备，对应不同类型场景所产生的日志也有可能不同。在日志格式不同的前提下，相关技术需要在日志解析过程中，不断配置复杂的正则表达式，来实现从设备日志中提取结构化信息的目的。而且，相关技术中的日志解析方法对分隔符、字段缺失和字段顺序较为敏感，需要人工进行格式处理，日志解析的效率比较底下。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请提出一种日志处理方法、系统、装置及存储介质。

第一方面，本申请实施例提供了一种日志处理方法，包括：获取第一设备日志；获取解析器及解析器列表；其中，所述解析器列表包括正则表达式、列分隔符和第一列数；根据所述解析器和所述解析器列表，对所述第一设备日志进行解析处理；所述解析处理包括：根据所述正则表达式，对所述第一设备日志进行蒙版处理，确定第一蒙版日志；根据所述列分隔符，将所述第一蒙版日志划分为若干列，确定第二列数；若所述第一列数与所述第二列数相等，所述解析处理成功；若所述解析处理成功，根据所述第一设备日志和所述第一蒙版日志，确定结构化数据。

可选地，所述解析器列表还包括匹配标志位，所述根据所述正则表达式，对所述第一设备日志进行蒙版处理，确定第一蒙版日志，包括：当所述匹配标志位为1，根据所述正则表达式，对所述第一设备日志进行蒙版处理，确定所述第一蒙版日志。

可选地，所述方法还包括构建所述解析器的步骤，所述构建所述解析器，包括：获取第二设备日志；其中，所述第二设备日志与所述第一设备日志为同一格式；根据所述正则表达式对所述第二设备日志进行蒙版处理，生成第二蒙版日志；若所述第二设备日志中存在与所述正则表达式匹配的内容，将所述匹配标志位设为1；将所述第二蒙版日志划分为若干列，确定所述列分隔符和所述第一列数；将所述正则表达式、所述匹配标志位、所述列分隔符和所述第一列数存入所述解析器列表。

可选地，所述正则表达式包括第一正则表达式、第二正则表达式和第三正则表达式，所述蒙版处理包括第一蒙版处理、第二蒙版处理和第三蒙版处理；根据所述正则表达式对所述第二设备日志进行蒙版处理，生成第二蒙版日志，包括：根据第一正则表达式，对所述第二设备日志进行第一蒙版处理，生成第一蒙版；根据第二正则表达式，对所述第一蒙版进行第二蒙版处理，生成第二蒙版；根据第三正则表达式，对所述第二蒙版进行第三蒙版处理，生成第二蒙版日志。

可选地，所述对所述第二设备日志进行第一蒙版处理，生成第一蒙版，包括：根据第一正则表达式，确定所述第二设备日志中范围类字符的起始位置为第一蒙版范围；将所述第一蒙版范围中的所有字符替换为指定字符，生成所述第一蒙版。

可选地，所述对所述第一蒙版进行第二蒙版处理，生成第二蒙版，包括：根据第二正则表达式，确定所述第一蒙版中特殊元素的起始位置为第二蒙版范围；将所述第二蒙版范围内的所有字符替换为所述指定字符，生成所述第二蒙版；其中，所述特殊元素包括时间、IP地址和URL。