[发明专利]处理日志信息的方法、装置、设备及存储介质

说明书

本申请涉及大数据领域，提供一种处理日志信息的方法、装置、设备及存储介质，方法包括：分析待处理信息的大小确定调用局域网中的目标空闲资源，以目标空闲资源对应的设备作为新增节点；获取分类信息，分布式缓存所述分类信息和创建索引，以及连接具备千兆位速率的区域存储网络SAN，并建立SAN城域网；基于所述SAN城域网通过确定的运行通道将所述经过分布式缓存的分类信息同步存储至所述灾备中心；根据所述索引创建映射接口表，将存储至所述灾备中心的所述分类信息分装到所述映射接口表，并根据所选中的预设统计分析条件对所述映射接口表中的分类信息进行统计与分析，以获得分析结果。采用本方案，能够提高日志信息管理系统的可用性。

技术领域

本申请涉及数据处理领域，尤其涉及处理日志信息的方法、装置、设备及存储介质。

背景技术

目前的数据处理中，通过应用平台框架获取日志信息，将所述日志信息发送到数据库中，对所述日志信息进行数据清洗处理，对经过数据清洗处理的日志信息进行分析，获得分析结果，将所述分析结果存储在所述数据库中。

由于将采集的日志信息直接存储在运行系统的数据库中，一方面，致使数据库存储压力随着坐席访问量的增加而急速增大；另一方面，致使系统的并行处理效率低；导致数据库中的日志信息丢失或者日志信息管理系统的宕机，从而，导致日志信息管理系统的可用性低。

发明内容

本申请提供了一种处理日志信息的方法、装置、设备及存储介质，能够解决现有技术中日志信息管理系统的可用性低的问题。

第一方面，本申请提供一种处理日志信息的方法，所述方法包括：

获取待处理信息的大小，根据所述待处理信息的大小确定调用的局域网中的目标空闲资源，以所述目标空闲资源对应的设备作为新增节点，所述待处理信息包括日志信息和坐席操作信息；

对所述待处理信息进行分类得到分类信息，通过所述新增节点将所述分类信息存储至分布式文件系统中的数据库并进行分布式缓存，以及调用已编写的索引脚本创建索引；

将已创建的灾备中心与多个具备千兆位速率的区域存储网络SAN连接，以建立SAN城域网；

根据预置的连接外部设备的字节传送速率确定运行通道，所述运行通道用于指示字节多路通道、选择通道或数组多路通道；

基于通过所述SAN城域网通过所述运行通道将经过分布式缓存的所述分类信息同步存储至所述灾备中心；

启动已创建的信息处理脚本对所述灾备中心中的所述分类信息进行数据清洗处理；

根据所述索引创建映射接口表，将经过数据清洗处理的所述分类信息分装到所述映射接口表中，并根据预设统计分析条件对所述映射接口表中的所述分类信息进行统计与分析，以获得分析结果；

将所述分析结果输入到可视化数据库，调用可视化图表处理工具对所述分析结果进行统计与分析以生成可视化图表。

一种可能的设计中，所述根据所述待处理信息的大小确定调用的局域网中的目标空闲资源，以所述目标空闲资源对应的设备作为新增节点，包括：

获取局域网中的空闲资源，并获取所述空闲资源的大小；

分析和预测所述空闲资源的待空闲时间，以及分析和预测所述空闲资源对应的设备的可承载能力，获得多个评估值，并按照值从大到小的顺序对所述评估值进行排序；

通过计算所述空闲资源的大小总和是否等于或者约等于所述待处理信息的大小，以确定调用的目标空闲资源和所述目标空闲资源的目标数量；

将排序在前且数量为所述目标数量的目标空闲资源对应的设备作为新增节点；

实时监控所述新增节点的资源情况，并在预设时段内更新和反馈所述新增节点的资源；