[发明专利]一种基于高速流式处理技术的日志解析方法及系统

说明书

本发明涉及一种基于高速流式处理技术的日志解析方法及系统，其中，该方法可包括以下步骤：在节点底层搭建分布式消息中间件，用于缓存终端设备日志；配置日志解析模板，通过终端设备IP地址实现解析模板与日志数据相关联；日志数据泛化，具体地，采用SPARK流式批处理，将消息中间件缓存的日志按时间切片封装成RDD(弹性分布式数据集)，形成源源不断的实时RDD数据流；通过转换算子操作对实时RDD数据流进行预处理；根据与终端设备IP匹配的解析模板对经过预处理的实时RDD数据进行层级解析和泛化，没有匹配上模板的数据将通过模型识别进行数据分类而实现数据泛化；日志数据储存，各个节点泛化完的数据将在各自节点上进行日志数据持久化。

技术领域

本发明属于计算机领域，具体地涉及一种基于高速流式处理技术的日志解析方法及系统。

背景技术

随着5G时代到来，随着终端设备得增多,从而会有海量数据的出现，使得数据处理及分析变得日益重要。为理解用户的访问特点以及用户的需求，就需要进行日志分析，发现用户的访问行为与规律，并以此来优化业务结构，从而给用户带来更好的体验。同时，随着日志数据分析处理技术的发展，人们可以从数据中发现知识，找出规律，从而产生价值，因此研究日志数据泛化分析处理具有重要的意义。

传统的日志数据分析处理方案大多是基于单机串行处理及存储，面对海量的大数据时，传统的日志数据分析处理显得力不从心了。尤其当数据量达到TB，甚至PB、ZB级别时，存储数据及处理效率非常低下。而且目前市面的一些日志解析框架，大多不支持大数据大并发的处理，而且对日志格式的处理也要进行比较复杂的代码处理，具体不足如下：

1)处理日志数据速度慢、效率低；

2)数据不可靠、丢失率高；

3)日志解析模板不可配置，维护成本高。

发明内容

本发明旨在提供一种基于高速流式处理技术的日志解析方法及系统，以解决上述问题。为此，本发明采用的具体技术方案如下：

根据本发明的一方面，提供了一种基于高速流式处理技术的日志解析方法，可包括以下步骤：

在节点底层搭建分布式消息中间件，用于缓存终端设备日志；

配置日志解析模板，通过终端设备IP地址实现解析模板与日志数据相关联；

日志数据泛化，具体地，采用SPARK流式批处理，将消息中间件缓存的日志按时间切片封装成RDD(弹性分布式数据集)，形成源源不断的实时RDD数据流；通过转换算子操作对实时RDD数据流进行预处理；根据与终端设备IP匹配的解析模板对经过预处理的实时RDD数据进行层级解析和泛化，没有匹配上模板的数据将通过模型识别进行数据分类而实现数据泛化；

日志数据储存，各个节点泛化完的数据将在各自节点上进行日志数据持久化。

进一步地，所述的在节点配置日志解析模板是在可视化模板配置界面上进行的。

进一步地，模板包含正则表达式匹配与解析、key-value数据格式解析、分隔符解析、数据格式转化、字段名称标准化和数据格式标准化。

进一步地，所述模型识别采用GMM模型识别。

进一步地，消息中间件在缓冲日志时，采用多主题分流策略对日志数据进行负载均衡。

根据本发明的另一方面，提供了一种基于高速流式处理技术的日志解析系统，其包括：

日志缓存模块，用于缓冲终端设备日志，具体地，采用在节点底层搭建分布式消息中间件，实现时间可配置的终端设备日志数据缓存；

日志解析模板配置模块，用于配置日志解析模板，具体地，通过终端设备 IP地址实现解析模板与日志数据相关联；