[发明专利]分布式智能数据采集方法、装置、设备和存储介质

说明书

本发明涉及一种分布式智能数据采集方法、装置、设备和存储介质，该方法包括：获取采集参数，采集参数包括数据采集类型、采集的文件和数据来源；根据采集参数对数据采集器和数据散出器进行配置，确定策略配置参数，并将策略配置参数存储在配置中心的配置存储数据库；智能采集程序获取数据采集器的宿主机下的策略配置参数；各个管理器根据策略配置参数对应的策略类型创建相应的采集器类型，其中，各个管理器包括数据采集器的管理器、数据散出器的数据管理器和数据通道管理器；根据策略配置参数和采集器类型对原始数据进行采集和写入。实现了数据源和数据存储动态创建和配置、基于配置中心的采集器的配置管理和策略下发。

技术领域

本发明涉及数据采集领域，具体涉及一种分布式智能数据采集方法、装置、设备和存储介质。

背景技术

随着生产应用服务器的大规模使用，传统的Linux上日志或数据的采集变得非常麻烦，常用的采集器有Flume-NG、Logstash等，Flume是Apache基金会旗下的一款常用开源数据收集工具，Logstash是目前数据收集方案ELK中常用的采集器。

这些常用的处理器应用广泛，在生产规模较小的情况下足够应付日常的生产使用，但面对大集群下的配置维护和管理则存在相应问题，例如：配置变更麻烦，无法全局生效；新增数据源采集或数据存储需要定制开发或配置；缺少全局采集器策略的维护和管理。

发明内容

有鉴于此，提供一种分布式智能数据采集方法、装置、设备和存储介质，以解决现有技术中大集群下配置维护和管理中存在的配置操作繁琐等问题。

本发明采用如下技术方案：

第一方面，本申请实施例提供了一种分布式智能数据采集方法，该方法包括：

获取采集参数，所述采集参数包括数据采集类型、采集的文件和数据来源；

根据所述采集参数对数据采集器和数据散出器进行配置，确定策略配置参数，并将所述策略配置参数存储在配置中心的配置存储数据库；

智能采集程序获取所述数据采集器的宿主机下的策略配置参数；

各个管理器根据所述策略配置参数对应的策略类型创建相应的采集器类型，其中，各个管理器包括数据采集器的管理器、数据散出器的数据管理器和数据通道管理器；

根据所述策略配置参数和所述采集器类型对原始数据进行采集和写入。

第二方面，本申请实施例提供了一种分布式智能数据采集装置，该装置包括：

参数采集模块，用于获取采集参数，所述采集参数包括数据采集类型、采集的文件和数据来源；

配置参数确定模块，用于根据所述采集参数对数据采集器和数据散出器进行配置，确定策略配置参数，并将所述策略配置参数存储在配置中心的配置存储数据库；

配置参数获取模块，用于智能采集程序获取所述数据采集器的宿主机下的策略配置参数；

采集器类型创建模块，用于各个管理器根据所述策略配置参数对应的策略类型创建相应的采集器类型，其中，各个管理器包括数据采集器的管理器、数据散出器的数据管理器和数据通道管理器；

数据采集模块，用于根据所述策略配置参数和所述采集器类型对原始数据进行采集和写入。

第三方面，本申请实施例提供了一种设备，该设备包括：

处理器，以及与所述处理器相连接的存储器；

所述存储器用于存储计算机程序，所述计算机程序至少用于执行本申请实施例第一方面所述的分布式智能数据采集方法；

所述处理器用于调用并执行所述存储器中的所述计算机程序。