[发明专利]数据采集方法、系统、监控报警平台、计算机及存储介质

说明书

本申请涉及一种数据采集方法、数据采集系统、监控报警平台、计算机设备及计算机存储介质，其中，该方法包括：任务接收步骤，用于获取一设定的采集任务及其任务配置，所述任务配置为自定义的，所述任务配置至少包括：任务名称、数据源、查询周期及任务指标其一或其任意组合；数据采集步骤，用于根据所述任务配置设定一采集规则，通过一数据库适配器连接所述数据源，利用一采集器根据所述查询周期及采集规则进行数据查询，得到查询结果；数据同步步骤，用于根据所述任务名称为所述查询结果设置一数据标识，并将所述查询结果实时同步至一Prometheus数据库。通过本申请实现支持可插拔的采集器配置，适用范围广且可根据需求切换数据源进行不同的任务。

技术领域

本申请涉及互联网技术领域，特别是涉及数据采集方法、数据采集系统、监控报警平台、计算机设备及计算机存储介质。

背景技术

目前，为了更好的对数据进行监控、显示及告警，大数据平台离不开监控告警系统。而监控告警系统的实现各有不同，大致如下所述。在数据采集方面，有的监控系统采用主动采集方式，有的监控系统采用被动上报方式，有的监控系统采用上述两者兼备的方式。在数据传输方面，有的监控系统采用socket传输，有的监控系统采用HTTP传输。在数据存储方面，有的监控系统将监控数据保存在MySQL中，有的监控系统将数据保存在MongoDB，OpenTSDB,InfluxDB等时序数据库中。但是，所有的监控告警系统的核心都是采集和处理数据。

因此，监控系统通常由指标采集子系统和数据处理子系统组成。其中，指标采集子系统主要负责信息采集，过滤，汇总和存储。数据处理子系统主要负责数据分析，展现，预警，告警动作触发和告警等。但是，现有的指标采集子系统无法结合我司现有的自身业务逻辑，只能针对某些特定数据源实现数据监控指标的采集。

发明内容

本申请实施例提供了一种数据采集方法、数据采集系统、监控报警平台、计算机设备及计算机存储介质，实现针对各种数据源的复杂数据监控指标的自动化数据采集，支持可插拔的采集器配置，适用范围广且可根据需求切换数据源进行不同的任务。

第一方面，本申请实施例提供了一种数据采集方法，包括：

任务接收步骤，用于获取一设定的采集任务及其任务配置，所述任务配置为自定义的，所述任务配置至少包括：任务名称、数据源、查询周期及任务指标其一或其任意组合；

数据采集步骤，用于根据所述任务配置设定一采集规则，通过一数据库适配器连接所述数据源，利用一采集器根据所述查询周期及采集规则进行数据查询，得到查询结果；

数据同步步骤，用于根据所述任务名称为所述查询结果设置一数据标识，并将所述查询结果实时同步至一Prometheus数据库。其中，Prometheus是一个开源的服务监控系统和时间序列数据库。

在其中一些实施例中，所述数据采集步骤进一步包括：

数据源连接配置步骤，用于基于所述数据源配置所述数据库适配器，用以连接所述数据源对应的数据库。

在其中一些实施例中，所述数据采集步骤通过API获取所述任务配置，实现可插拔的采集器配置，可以随时根据需要切换到不同的数据源进行不同的采集任务。其中，API(Application Programming Interface，应用程序接口)是一些预先定义的函数，或指软件系统不同组成部分衔接的约定。

在其中一些实施例中，所述数据源至少包括：Postgres、Hive、Mysql及Http-Api其一或其任意组合。

第二方面，本申请实施例提供了一种数据采集系统，包括：

一任务接收模块，用于获取一设定的采集任务及其任务配置，所述任务配置为自定义的，所述任务配置至少包括：任务名称、数据源、查询周期及任务指标其一或其任意组合；