[发明专利]一种数据采集的方法及其相关设备

摘要

本发明实施例公开了一种数据采集的方法及其相关设备，本发明实施例采用爬虫容器协同的方式实现爬虫的高并发，控制节点可对爬虫容器进行集群管理，且爬虫容器间的隔离性好，可以减少容器内各个爬虫程序之间的干扰，提高整体系统的稳定性。本发明实施例方法包括所述控制节点根据数据采集目标确定数据采集任务；所述控制节点将所述数据采集任务调度到目标爬虫容器，以使所述目标爬虫容器根据所述数据采集任务，采集对应的数据，并存储采集到的数据，所述目标爬虫容器为所述多个爬虫容器中的一个。本发明实施例能够提高整体系统的稳定性。

主权项

一种数据采集的方法，其特征在于，所述方法应用于分布式爬虫系统，所述分布式爬虫系统包括控制节点和多个爬虫节点，其中，每个爬虫节点中都创建有多个爬虫容器，所述方法包括：所述控制节点根据数据采集目标确定数据采集任务；所述控制节点将所述数据采集任务调度到目标爬虫容器，以使所述目标爬虫容器根据所述数据采集任务，采集对应的数据，并存储采集到的数据，所述目标爬虫容器为所述多个爬虫容器中的一个。