[发明专利]分布式日志的采集、存储方法及系统

说明书

本发明提供了一种分布式日志的采集、存储方法及系统，包括如下步骤：通过日志采集组件对每类日志进行采集；将日志采集步骤中采集的日志，发送到统一的日志缓存组件中，进行日志缓存；对日志缓存步骤中缓存的日志进行加工处理，对不同的日志类型提供不同的日志处理方式；将日志处理步骤处理后的日志，采用分布式的日志存储组件，进行日志写入的负载均衡，实现快速横向扩容和日志从写入到删除的日志生命周期管理；对日志处理组件的容量进行管理；对日志存储组件的容量进行管理。本发明能够解决一个平台内的应用日志的采集、处理、存储问题，并根据采集组件的资源使用情况对容量进行评估，进行自动扩容。

技术领域

本发明涉及计算机技术领域，具体地，涉及一种分布式日志的采集、存储方法及系统，尤其是一种分布式日志的采集、处理、存储方法。

背景技术

随着工业物联网平台的兴起，分布式、容器化等多种部署方式的发展，日志也越来越分散，人工获取日志的难度也越来越大，每个应用的日志存储成本也在不断增加，这时一个平台级的应用日志集中存储组件能够解决应用日志分散、获取难度大、存储成本高的问题。在一个工业互联网平台的建设中，能够为接入的应用提供日志存储PAAS服务的日志组件，也是平台必备的服务组件。平台级应用日志存储组件能够解决应用日志分散、获取难度大、存储成本高的问题，也随之而来的是采集技术的问题，常规的日志采集方案已经不能够满足平台级的大量日志的采集存储，不能自动进行扩容。

公开号为CN103209087B的专利文献公开了一种分布式日志统计处理方法，包括以下步骤：获取日志产生端上的原始日志数据；统计处理所述获取的原始日志数据，得到初步统计结果；将所述初步统计结果发送至中心服务器；通过中心服务器合并初步统计结果。但是该专利文献仍然存在采集不能够满足平台级的大量日志的采集存储，不能自动进行扩容的缺陷。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种分布式日志的采集、存储方法及系统。

根据本发明提供的一种分布式日志的采集、存储方法，包括日志采集、处理、存储步骤和日志组件容量管理步骤；

所述日志采集、处理、存储步骤包括如下步骤：

日志采集步骤：通过日志采集组件对每类日志进行采集；

日志缓存步骤：将日志采集步骤中采集的日志，发送到统一的日志缓存组件中，进行日志缓存；

日志处理步骤：对日志缓存步骤中缓存的日志进行加工处理，对不同的日志类型提供不同的日志处理方式；

日志存储步骤：将日志处理步骤处理后的日志，采用分布式的日志存储组件，进行日志写入的负载均衡，实现快速横向扩容和日志从写入到删除的日志生命周期管理；

所述日志组件容量管理步骤包括如下步骤：

日志处理组件容量管理步骤：对日志处理组件的容量进行管理；

日志存储组件容量管理步骤：对日志存储组件的容量进行管理。

优选的，所述日志采集步骤中，所述日志采集组件包括：

应用服务器日志采集器：对日志文件进行监控，对文件内新产生的日志进行采集，并记录日志采集位置，每行日志采集为一条日志，日志采集到缓存区后，日志的条数到达设定的条数后或者数据缓存区缓存时间达到设定的时间后，进行日志发送；日志发送前对日志进行识别和标记类型和来源，识别日志类型，标记日志来源；

浏览器端行为日志采集器：每条日志即时发送一次，产生日志后，经过处理后立即发出；日志发送前对日志进行识别和标记类型和来源，识别日志类型，标记日志来源；