[发明专利]Web数据采集方法和Web数据采集系统

说明书

本发明提出了一种Web数据采集方法、Web数据采集系统、计算机设备、计算机可读存储介质。其中，Web数据采集方法包括：布置待加入虚拟机的爬虫环境；获取待加入虚拟机的IP地址，并将IP地址添加至主节点配置中；控制主机更新运行脚本，以使待加入虚拟机和已加入虚拟机获取最新运行代码；当接收到待加入虚拟机的任务启动指令，根据最新运行代码执行任务启动指令，以使待加入虚拟机加入至爬取网站的集群中并开始Web数据采集。本发明实现了数据源大量增加时，Web数据爬取上和存储上的横向扩展，提高了爬取数据和存储数据的效率，在有限的时间内完成数据的采集。

技术领域

本发明涉及Web数据采集技术领域，具体而言，涉及一种Web数据采集方法、Web数据采集系统、计算机设备、计算机可读存储介质。

背景技术

无论是数据分析还是舆情系统都是针对数据，数据采集是基础，数据获取方式自有数据，网络上数据，如果业务涉及网络上数据，需要企业自己爬取，单机的爬取对于大量的web数据处理时间过慢，不能满足业务的需求，传统数据库对于大数据量数据存储和查询性能越来越不能满足现在的软件业务需求。

因此，如何实现一种支持无限横向扩展的Web数据采集方法和Web数据采集系统成为亟待解决的问题。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明第一个方面在于提出一种Web数据采集方法。

本发明的第二个方面在于提出一种Web数据采集系统。

本发明的第三个方面在于提出一种计算机设备。

本发明的第四个方面在于提出一种计算机可读存储介质。

有鉴于此，根据本发明的一个方面，提出了一种Web数据采集方法，包括：布置待加入虚拟机的爬虫环境；获取待加入虚拟机的IP地址，并将IP地址添加至主节点配置中；控制主机更新运行脚本，以使待加入虚拟机和已加入虚拟机获取最新运行代码；当接收到待加入虚拟机的任务启动指令，根据最新运行代码执行任务启动指令，以使待加入虚拟机加入至爬取网站的集群中并开始Web数据采集。

本发明提供的Web数据采集方法，通过调度平台进行管理，布置带加入的虚拟机的爬虫环境，以使待加入虚拟机的加入数据采集的集群中可以进行爬取数据，获取搭建好爬虫环境的虚拟机的IP地址，将IP地址加入到主角点的配置中，然后控制主句更新运行脚本，使得所有机器(待加入的虚拟机和已经加入的虚拟机)都从开源的分布式版本控制系统GIT端获取最新的运行代码，当接收到待加入虚拟机的任务启动指令时，根据最新的运行代码执行任务启动指令，如此，待加入虚拟机就加入到爬取网站的集群中开始Web数据采集，本发明在数据源大量增加时，新增的worker节点只需要启动任务即可加入到数据采集的集群中，实现了Web数据爬取上和存储上的横向扩展，提高了爬取数据和存储数据的效率，在有限的时间内完成数据的采集。另外本发明还可以定时进行数据采集，可以轻松切换生产和测试环境。

根据本发明的上述Web数据采集方法，还可以具有以下技术特征：

在上述技术方案中，优选地，根据最新运行代码执行任务启动指令，以使待加入虚拟机加入至爬取网站的集群中并开始Web数据采集之后，还包括：接收目标网站的Web数据获取请求；根据获取请求建立任务队列；当集群中具有空闲资源时，控制网络爬虫使用空闲资源执行任务队列中的任务计划，以获取目标网站的Web数据。

在该技术方案中，根据最新运行代码执行任务启动指令，以使待加入虚拟机加入至爬取网站的集群中并开始Web数据采集之后，在接收到目标网站的Web数据获取请求，开始进行数据采集爬取，根据获取的数据请求建立任务队列，使用调度框架进行集群的爬虫资源的分配，当集群中具有空闲的资源时，控制网络爬虫使用空闲资源从消息队列中获取任务计划，执行获取目标网站数据的任务，使用redis作为任务消息的运输机，实现了对实时任务队列的处理以及任务的调度。