[发明专利]日志数据的归一化处理方法、装置、介质及计算机设备

说明书

本文是关于一种日志数据的归一化处理方法、装置、介质及计算机设备,涉及日志数据解析处理技术。本文公开的一种日志数据的归一化处理方法，包括：获取第一类日志解析结果；对第一类日志解析结果进行归一化操作，得到第二类日志解析结果；至少将第二类日志解析结果确定为归一化处理后的日志解析结果；其中，归一化操作包括，用于将第一类日志解析结果的格式转换为符合预设的解析目标格式的操作。本文将解析得到的日志解析结果的格式转换为统一的解析目标格式，即将日志数据中具有相同含义的字段进行了统一。并且，本文公开的技术方案丰富了归一化处理的结果，为后期日志数据分析提供了更多的依据。

技术领域

本文涉及日志数据解析处理技术，尤其涉及一种日志数据的归一化处理方法、装置、介质及计算机设备。

背景技术

深度威胁识别系统Atd-rt实时引擎(advanced thread detection-real-time)，最核心的功能就是分析客户业务输入的实时日志流，分析出安全威胁事件。作为一个通用的大数据日志安全分析平台，面临的第一个问题便是输入日志源的多样性的解析及归一化。

相关技术中，数据包经过日志采集模块的接收和解析之后，会将各系统中的日志放到原始日志池中。由于各系统中日志结构的不同，必须根据一定的规则，将日志格式归一化，以便后期处理。一般日志归一化处理的过程是，根据原始日志的来源，找到相应的规则，然后根据单个日志的规则，重组原始日志。

现有的归一化系统存在以下缺陷：规则模板与解析器相互耦合，希望通过模板设置即可一步实现归一化到位，但是由于日志源太多样，不同格式的日志通过这种归一化，即使能获得统一的格式，也可能造成字段信息的冗余或者丢失，失去了准确性。

发明内容

为克服相关技术中存在的问题，本文提供一种日志数据的归一化处理方法、装置、介质及计算机设备。

根据本文的第一方面，提供一种日志数据的归一化处理方法，所述方法包括：

获取第一类日志解析结果，所述第一类日志解析结果中包括解析得到的字段的标识及对应的内容；

对所述第一类日志解析结果进行归一化操作，得到第二类日志解析结果，所述第二类日志解析结果中包含归一化处理后的字段的标识及对应的内容；

至少将所述第二类日志解析结果确定为归一化处理后的日志解析结果；

其中，所述归一化操作包括，用于将所述第一类日志解析结果的格式转换为符合预设的解析目标格式的操作。

可选地，上述方法中，所述归一化操作至少包括如下任一种操作：

对所述第一类日志解析结果中字段的内容进行字节长度计算；

对所述第一类日志解析结果中字段的内容进行组合；

对所述第一类日志解析结果中的字段的内容进行部分提取。

可选地，上述方法中，所述第一类日志解析结果的格式包括键值对格式，其中，每一个键值对中，键表示解析得到的字段的标识，值表示解析得到的字段对应的内容。

可选地，上述方法中，所述预设的解析目标格式包括键值对格式，其中，每一个键值对中，键表示预先配置的字段的标识，值表示预先配置的字段的含义。

可选地，上述方法中，所述归一化操作包括对所述第一类日志解析结果中字段的内容进行字节长度计算时，对所述第一类日志解析结果进行归一化操作，包括：

计算所述第一类日志解析结果中的字段的内容占用的字节长度；

将计算得到的字节长度的值配置为归一化处理后的键值对中的值，并将预设的解析目标格式中与字节长度的含义对应的字段的标识，配置为归一化处理后的键值对中的键，得到归一化处理后的键值对，所述归一化处理后的键值对属于所述第二类日志解析结果。