[发明专利]数据采集方法、装置以及存储介质

说明书

本申请公开了一种数据采集方法、装置以及存储介质。其中，一种数据采集方法，包括：代理通道中心接收采集目标数据的采集请求；代理通道中心根据采集请求获取相应的代理通道，其中代理通道中心预先存储有多个代理通道；以及代理通道中心根据代理通道向存储有目标数据的数据源获取目标数据。

技术领域

本申请涉及信息技术领域，特别是涉及一种数据采集方法、装置以及存储介质。

背景技术

随着大数据技术应用的越来越广泛，数据已经成功公司的一项重要资产，通过互联网数据采集技术成为公司沉淀数据资产的重要的手段。在数据采集过程中需要使用代理通道的模式，来使我们的采集任务数据流量可以合理分配，在执行过程中，会因采集任务的动态调整和数据源的差异，需要进行代理通道的频繁调整及代理动态切换，使我们的各种互联网数据采集任务可以正常运行。

在数据采集的过程中，需要对成千上百的采集任务进行问题排查及相应的调整，维护的工作量非常大。但是现有的数据采集程序无法对代理通道进行统一管理，从而使得代理通过使用起来比较复杂且繁琐，从而大大降低了数据采集时的效率。

针对上述的现有技术中的数据采集程序无法对代理通道进行管理所造成的数据采集的效率低的技术问题，目前尚未提出有效的解决方案。

发明内容

本申请的实施例提供了一种数据采集方法、装置以及存储介质，以至少解决现有技术中存在的数据采集程序无法对代理通道进行管理所造成的数据采集的效率低的技术问题。

根据本申请实施例的一个方面，提供了一种数据采集方法，包括：代理通道中心接收采集目标数据的采集请求；代理通道中心根据采集请求获取相应的代理通道，其中代理通道中心预先存储有多个代理通道；以及代理通道中心根据代理通道向存储有目标数据的数据源获取目标数据。

根据本申请实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上任意一项所述的方法。

根据本申请实施例的另一个方面，还提供了一种数据采集装置，包括：请求接收模块，用于接收采集目标数据的采集请求；第一获取模块，用于根据采集请求获取相应的代理通道，其中代理通道中心预先存储有多个代理通道；以及第二获取模块，用于根据代理通道向存储有目标数据的数据源获取目标数据。

根据本申请实施例的另一个方面，还提供了一种数据采集装置，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：接收采集目标数据的采集请求；根据采集请求获取相应的代理通道，其中代理通道中心预先存储有多个代理通道；以及根据代理通道向存储有目标数据的数据源获取目标数据。

在本申请实施例中，通过代理通道中心统一管理代理通道。当需要采集目标数据时，通过代理通道中心快速确定与目标数据对应的代理通道，从而提高了数据采集的效率。并且当代理通道有频繁调整的需求时，代理通道中心会根据调整对代理通道进行相应的管理，从而减少了人力物力的消耗，极大的简化了采集程序的开发量和后续维护工作。进而解决了现有技术中的数据采集程序无法对代理通道进行管理所造成的数据采集的效率低的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是用于实现根据本申请实施例1所述的方法的计算设备的硬件结构框图；

图2是根据本申请实施例1所述的数据采集系统的示意图；

图3是根据本申请实施例1的第一个方面所述的数据采集方法的流程示意图；

图4是根据本申请实施例2所述的数据采集装置的示意图；以及

图5是根据本申请实施例3所述的数据采集装置的示意图。