[发明专利]Web数据采集方法和Web数据采集系统

摘要

本发明提出了一种Web数据采集方法、Web数据采集系统、计算机设备、计算机可读存储介质。其中，Web数据采集方法包括：布置待加入虚拟机的爬虫环境；获取待加入虚拟机的IP地址，并将IP地址添加至主节点配置中；控制主机更新运行脚本，以使待加入虚拟机和已加入虚拟机获取最新运行代码；当接收到待加入虚拟机的任务启动指令，根据最新运行代码执行任务启动指令，以使待加入虚拟机加入至爬取网站的集群中并开始Web数据采集。本发明实现了数据源大量增加时，Web数据爬取上和存储上的横向扩展，提高了爬取数据和存储数据的效率，在有限的时间内完成数据的采集。

主权项

1.一种Web数据采集方法，其特征在于，包括：布置待加入虚拟机的爬虫环境；获取所述待加入虚拟机的IP地址，并将所述IP地址添加至主节点配置中；控制主机更新运行脚本，以使所述待加入虚拟机和已加入虚拟机获取最新运行代码；当接收到所述待加入虚拟机的任务启动指令，根据所述最新运行代码执行所述任务启动指令，以使所述待加入虚拟机加入至爬取网站的集群中并开始Web数据采集。