[发明专利]日志信息处理方法、边缘节点、中心节点和系统

说明书

本公开实施例公开了一种日志信息处理方法，应用于边缘节点，包括：获取待处理日志信息；根据字段对所述待处理日志信息进行分类，获得第一分类结果；将所述待处理日志信息根据所述第一分类结果对应存储至不同的数据处理队列中，从所述数据处理队列中获取对应的所述待处理的日志信息进行维度指标分析，获得第一维度指标，并将所述第一维度指标发送给中心节点进行处理。本公开实施例进一步公开了一种日志信息处理方法、中心节点、边缘节点和系统。本公开实施例提供的方案能够减轻中心节点的负荷，减小处理的耗时，提升日志信息处理的效率，满足日志信息的多维度分析时的高效要求。

技术领域

本公开实施例涉及信息处理领域，尤其涉及一种日志信息处理方法、边缘节点、中心节点和日志信息处理系统。

背景技术

日常生活中的打电话、手机上网，背后承载的都是电信的路由器、交换机等设备的数据交换。通过探针对接收到的数据进行解析、关联等处理，生成xDR。xDR是TDR(Transaction Detail Record，事务详细单据)、CDR(Call Detail Record，呼叫详细单据)的合称。将xDR上报给分析系统，可以对电信业务数据进行多维度分析。目前对xDR进行多维度分析，一般来说，可通过以下方式：1、通过数据库进行分析将xDR写入数据库后，通过结构化查询语言，即SQL，进行指标的查询分析。2、通过流式处理SparkStreaming进行分析，即通过SparkStreaming接入实时数据后，对每个微批数据，进行分析。

但是，采用结构化查询语言分析方式和流式处理分析方式进行xDR的多维度分析，由于数据量大，导致节点负荷非常重且数据处理非常耗时，效率低，不能很好地满足当前xDR的多维度分析时的高效要求。

发明内容

为解决现有存在的技术问题，本公开实施例提供一种高效的日志信息处理方法、边缘节点、中心节点和日志处理处理系统。

为达到上述目的，本公开实施例的技术方案是这样实现的：

第一方面，本公开实施例提供一种日志信息处理方法，包括：获取待处理日志信息；根据字段对所述待处理日志信息进行分类，获得第一分类结果；将所述待处理日志信息根据所述第一分类结果对应存储至不同的数据处理队列中，从所述数据处理队列中获取对应的所述待处理的日志信息进行维度指标分析，获得第一维度指标，并将所述第一维度指标发送给中心节点进行处理。

其中，所述将所述第一维度指标发送给中心节点进行处理，还包括：中心节点获取第一维度指标，根据字段对所述第一维度指标进行分类，获得第二分类结果；将所述第一维度指标根据所述第二分类结果存储至不同的数据处理队列中，从所述数据处理队列中获取对应的第一维度指标进行维度指标分析，获得第二维度指标。

其中，在将所述第一维度指标发送给中心节点进行处理之前，还包括：将所述第一维度指标以键值对形式存储至关系型数据库中；从所述关系型数据库中获取所述第一维度指标并对所述待分析日志中的每条日志信息对应的第一维度指标进行累加，获得每条日志信息累加后的所述第一维度指标。

其中，从所述数据处理队列中获取对应的所述待处理的日志信息进行维度指标分析，获得第一维度指标，包括：从所述数据处理队列中获取对应的所述待处理的日志信息；根据所述待处理的日志信息携带的字段确定所述待处理日志信息的指标名及与所述指标名对应的指标值；基于指定的第一维度分析需求，从已建立的第一算法索引表中获取所述第一维度分析需求对应的目标算法；其中，所述第一算法索引表包括所述第一维度分析需求与至少一所述指标名对应的指标值之间的对应关系；基于所述目标算法计算获得所述第一维度分析需求对应的第一维度指标。

其中，基于指定的第一维度分析需求，从已建立的第一算法索引表中获取所述第一维度分析需求对应的目标算法，包括：以第一维度分析需求为索引遍历已建立的第一算法索引表，从所述第一算法索引表中获取所述第一维度分析需求对应的目标算法。