[发明专利]数据采集方法及装置

说明书

本申请提供了一种数据采集方法及装置，其中，该方法包括：将多个probe设置为一组，网管侧设备将采集任务进行分片，将该采集任务的多个分片分配至一组probe进行处理，采用该方案，由于一组probe内存在多个probe，提升了被下发的采集任务的完成率，避免了相关技术中一个probe不能完成采集任务导致的问题，例如，重新进行任务分配，或者采集任务延迟完成等，解决了相关技术中通过probe进行数据采集时采集效率低且不稳定的问题。

技术领域

本申请涉及但不限于计算机领域，具体而言，涉及一种数据采集方法及装置。

背景技术

在相关技术中，在信息技术(Information Technology，简称为IT)监控项目中，需要通过采集数据进行项目监测，图1是根据相关技术中的网管监控平台的架构示意图，如图1所示，需要对大量的网络设备、软件中间件、虚拟化资源、存储、数据库等资源进行主动的周期性采集，针对网管监控平台产品开发一种采集终端程序probe，每个采集probe支持各类采集对象的采集。网管监控平台向多个probe下发采集任务，采集probe通过各种协议开发的方式对采集对象进行数据采集，将采集的结果数据用Kafka发送给网管监控平台。

在网络环境中部署多个采集probe，采集这些硬、软件对象的资源配置、性能指标数据，汇总到网管监控平台系统进行资源管理、性能数据分析、实时告警。

针对相关技术中通过probe进行数据采集时采集效率低且不稳定的问题，目前还没有有效的解决方案。

发明内容

本申请实施例提供了一种数据采集方法及装置，以至少解决相关技术中通过probe进行数据采集时采集效率低且不稳定的问题。

根据本申请的一个实施例，提供了一种数据采集方法，包括：网管侧设备获取待分配的用于采集数据的采集任务，划分所述采集任务为多个分片；分配部分或全部所述多个分片至分布式服务器的一组采集终端程序probe，并按照预设规则将部分或全部所述多个分片分配至所述一组probe的多个probe进行处理。

根据本申请的另一个实施例，还提供了一种数据采集方法，包括：分布式服务器接收网管侧设备为一组采集终端probe分配的采集任务，其中，所述采集任务包括多个分片；将所述多个分片按照预设规则分配至所述一组probe的多个probe进行处理。

根据本申请的另一个实施例，还提供了一种数据采集装置，包括：获取模块，用于获取待分配的用于采集数据的采集任务，划分所述采集任务为多个分片；第一分配模块，用于分配部分或全部所述多个分片至分布式服务器的一组采集终端程序probe，并按照预设规则将部分或全部所述多个分片分配至所述一组probe的多个probe进行处理。

根据本申请的另一个实施例，还提供了一种数据采集装置，包括：接收模块，用于接收网管侧设备为一组采集终端probe分配的采集任务，其中，所述采集任务包括多个分片；第二分配模块，用于将所述多个分片按照预设规则分配至所述一组probe的多个probe进行处理。

根据本申请的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本申请的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本申请，将多个probe设置为一组，网管侧设备将采集任务进行分片，将该采集任务的多个分片分配至一组probe进行处理，采用该方案，由于一组probe内存在多个probe，提升了被下发的采集任务的完成率，避免了相关技术中一个probe不能完成采集任务导致的问题，例如，重新进行任务分配，或者采集任务延迟完成等，解决了相关技术中通过probe进行数据采集时采集效率低且不稳定的问题。

附图说明