[发明专利]海量日志信息的处理方法、装置与系统

摘要

本发明公开了一种海量日志信息的处理方法、装置与系统，客户端对采集到的新增的日志信息进行过滤，能够减少传输日志信息时无效日志信息所占用的传输带宽，将实时性高的日志信息实时发送给服务器，将实时性低的日志信息延后发送给服务器，能够有效地缩短日志信息采集的周期，日志服务器将告警日志信息及时发送给告警处理装置，能够满足对日志信息中的告警信息及时输出的要求，并将非告警日志信息分别存储到不同的存储位置中，日志信息的类别与针对日志信息进行操作的操作类别相对应，使得日志操作平台在对日志信息进行操作的过程中，能够根据操作类别来判断出日志信息的存储位置，能够快速有效地缩短对对日志数据操作的处理时间、提高处理效率。

主权项

一种海量日志信息的处理方法，其特征在于，包括：日志服务器接收来自日志客户端的日志信息；根据预定的告警规则，判断接收到的日志信息为告警日志信息的情况下，将告警日志信息发送给告警处理装置；根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、所述日志服务器的内存数据库或者文件系统，其中，日志信息的类别与针对日志信息进行操作的操作类别相对应，存储到关系型数据库中的日志信息为统计操作提供数据基础，存储到所述日志服务器的内存数据库中的日志信息为实时的查询操作提供数据基础，存储到文件系统中的日志信息为非实时的查询操作提供数据基础；其中，日志服务器接收来自日志客户端的日志信息，具体包括：在接收到来自所述日志客户端的请求后，在所述日志服务器当前接收到的日志信息的数据量小于预定的数据量阈值的情况下，向所述日志客户端返回发送响应；其中，根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、所述日志服务器的内存数据库或者文件系统，具体包括：在非告警日志信息的类别为统计日志信息的情况下，将该日志信息存储到关系型数据库中；在非告警日志信息的类别为非统计日志信息的情况下，在从接收到该日志信息时间起的预定保存周期内，将该日志信息存储到所述日志服务器的内存数据库中，在所述日志服务器的内存数据库中的日志信息保存超过所述预定保存周期后，将保存超过所述预定保存周期的日志信息存储到所述文件系统中。