[发明专利]一种分布式的日志处理系统

说明书

本发明公开了一种分布式的日志处理系统，包括：多个异构服务器和一个日志中心服务器，多个异构服务器与日志中心服务器相连，异构服务器包括日志采集分析模块，日志中心服务器包括异构系统元信息，异构系统元信息包括配置异构系统日志采集和分析规则，日志采集分析模块根据异构系统元信息配置的日志采集和分析规则，在间隔时间根据规则表达式，并根据检索维度及统计维度在异构系统中做锚点，并标记出有效日志和无效日志，进行日志的采集和分析。在本实施例中，通过日志采集模块采用低侵入式低逻辑的采集策略，对异构系统的资源占用小，有效利用了原始的日志，降低分布式存储带来的存储成本。

技术领域

本发明涉及分布式日志系统技术领域，尤其涉及一种分布式的日志处理系统。

背景技术

企业应用软件领域，拥有大量的系统，且各类系统都有自己独有的日志处理规则，因此就出现了一些分布式日志系统。现有的分布式日志系统，使用特定规则的代理模块采集各类异构系统的日志，通过分布式存储技术将海量日志数据集中存储，并通过分词索引技术提高对海量数据的查询和统计的效率。

然而，现有的分布式日志系统，在采集各类异构系统时，通过一定的规则采集并预处理新产生的日志数据，使得采集代理模块会占用异构系统的资源，影响其他异构系统的运行效率以及日志采集效率。

发明内容

本发明目的在于，提供一种分布式的日志处理系统，通过日志采集模块采用低侵入式低逻辑的采集策略，对异构系统的资源占用小，有效利用了原始的日志，降低分布式存储带来的存储成本。

为实现上述目的，本发明实施例提供一种分布式的日志处理系统，包括：多个异构服务器和一个日志中心服务器；

多个所述异构服务器与所述日志中心服务器相连，所述异构服务器包括日志采集分析模块，所述日志中心服务器包括异构系统元信息；

所述异构系统元信息包括配置异构系统日志采集和分析规则，所述日志采集分析模块，根据所述异构系统元信息配置的日志采集和分析规则，在间隔时间根据规则表达式，并根据检索维度及统计维度在所述异构系统中做锚点，并标记出有效日志和无效日志，进行日志的采集和分析。

优选地，所述异构系统元信息还包括异构系统物理信息，所述异构服务器还包括异构系统；

所述异构系统在接入所述日志中心服务器前，在所述异构系统元信息中配置异构系统日志采集和分析规则，还需配置所述异构系统物理信息。

优选地，所述异构服务器还包括日志预统计引擎模块；

若所述配置的日志采集和分析规则中含有规则统计类型，根据所述标记的日志及检索维度的锚点，所述日志预统计引擎模块在间隔时间内对分析好的日志做预统计，并建立与统计临时文件进行保存，完成预统计。

优选地，所述日志中心服务器还包括日志查询系统；

所述日志查询系统与所述日志采集分析模块通讯连接，所述日志采集分析模块通过查找所述日志标记、所述锚点信息、清洗及合并日志文本返回日志查询系统，完成日志的查询。

优选地，所述日志中心服务器还包括日志查询统计引擎模块；

所述日志查询系统与所述日志预统计引擎模块通讯连接，根据所述日志标记、所述锚点信息和所述预统计信息，所述日志预统计引擎模块汇集预统计结果返回给所述日志查询系统，完成日志的统计查询。

本发明实施例，优点在于针对日志采集模块采用低侵入式低逻辑的采集策略，对异构系统的资源占用小，并且有效利用原始的日志，降低分布式存储带来的存储成本，并且独有的数据索引方式，比同类日志系统的查询统计效率更高。

附图说明