[发明专利]一种海量信息处理系统

摘要

本发明公开了一种海量信息处理系统，客户端对采集到的新增的日志信息进行过滤，能够减少传输日志信息时无效日志信息所占用的传输带宽，将实时性高的日志信息实时发送给服务器，将实时性低的日志信息延后发送给服务器，能够有效地缩短日志信息采集的周期，日志服务器将告警日志信息及时发送给告警处理装置，能够满足对日志信息中的告警信息及时输出的要求，并将非告警日志信息分别存储到不同的存储位置中，日志信息的类别与针对日志信息进行操作的操作类别相对应，使得日志操作平台在对日志信息进行操作的过程中，能够根据操作类别来判断出日志信息的存储位置，能够快速有效地缩短对对日志数据操作的处理时间、提高处理效率。

主权项

一种海量日志信息的处理系统，其特征在于，包括：日志客户端、日志服务器和日志操作平台；所述日志客户端，用于采集所述日志客户端上新增的日志信息；按照预定的过滤规则对采集到的日志信息中的数据进行过滤；根据预定的日志信息和实时性等级的对应关系，在过滤后的日志信息中携带与日志信息相对应的实时性等级的实时性标识；根据日志信息中的实时性标识，将实时性标识所代表的高实时性的日志信息实时发送给日志服务器，将实时性标识所代表的低实时性的日志信息延后发送给所述日志服务器；所述日志服务器，用于接收来自所述日志客户端的日志信息；根据预定的告警规则，判断接收到的日志信息为告警日志信息的情况下，将告警日志信息发送给告警处理装置；根据非告警日志信息的类别和接收日志信息的时间，将非告警日志信息分别存储到关系型数据库、所述日志服务器的内存数据库或者文件系统，其中，日志信息的类别与针对日志信息进行操作的操作类别相对应，存储到所述关系型数据库中的日志信息为统计操作提供数据基础，存储到所述日志服务器的内存数据库中的日志信息为实时的查询操作提供数据基础，存储到所述文件系统中的日志信息为非实时的查询操作提供数据基础；所述日志操作平台，用于接收用户输入的操作请求；操作请求中包括操作类别，操作类别包括统计操作和查询操作，所述查询操作包括实时查询操作和非实时查询操作；根据操作类别判断操作请求所针对的日志信息的存储位置；其中，日志信息的存储位置包括所述关系型数据库、所述日志服务器的内存数据库或者文件系统；所述关系型数据库中存储针对所述统计操作的日志信息，所述日志服务器的内存数据库中存储针对所述实时查询操作的日志信息，所述文件系统中存储非实时查询操作的日志信息；根据确定的存储位置查找到操作请求所针对的日志信息，并对该日志信息执行与操作请求对应的操作。