[发明专利]Web数据采集方法和Web数据采集系统

权利要求书

1.一种Web数据采集方法，其特征在于，包括：

布置待加入虚拟机的爬虫环境；

获取所述待加入虚拟机的IP地址，并将所述IP地址添加至主节点配置中；

控制主机更新运行脚本，以使所述待加入虚拟机和已加入虚拟机获取最新运行代码；

当接收到所述待加入虚拟机的任务启动指令，根据所述最新运行代码执行所述任务启动指令，以使所述待加入虚拟机加入至爬取网站的集群中并开始Web数据采集；

根据所述最新运行代码执行所述任务启动指令，以使所述待加入虚拟机加入至爬取网站的集群中并开始Web数据采集之后，还包括：

接收目标网站的Web数据获取请求；

根据所述Web数据获取请求建立任务队列；

当所述集群中具有空闲资源时，控制网络爬虫使用所述空闲资源执行所述任务队列中的任务计划，以获取所述目标网站的Web数据；

当所述集群中具有空闲资源时，控制网络爬虫使用所述空闲资源执行所述任务队列中的任务计划，以获取所述目标网站的Web数据，具体包括：

基于所述空闲资源，获取所述目标网站的URL；

将所述URL发送至下载器，以使所述下载器生成并返回所述URL对应的页面数据；

处理所述页面数据，存储处理后的页面数据；

根据所述获取请求建立任务队列之后，还包括：

根据预先设置的网络爬虫与网站的对应关系，获取所述目标网站对应的网络爬虫；

获取设置的所述目标网站对应的网络爬虫的爬取周期，以使所述网络爬虫按照所述爬取周期进行所述Web数据的爬取。

2.根据权利要求1所述的Web数据采集方法，其特征在于，

所述任务队列为分布式消息传递异步的任务队列。

3.一种Web数据采集系统，其特征在于，包括：

布置单元，用于布置待加入虚拟机的爬虫环境；

添加单元，用于获取所述待加入虚拟机的IP地址，并将所述IP地址添加至主节点配置中；

更新单元，用于控制主机更新运行脚本，以使所述待加入虚拟机和已加入虚拟机获取最新运行代码；

启动单元，用于当接收到所述待加入虚拟机的任务启动指令，根据所述最新运行代码执行所述任务启动指令，以使所述待加入虚拟机加入至爬取网站的集群中并开始Web数据采集；

请求单元，用于接收目标网站的Web数据获取请求；

建立单元，用于根据所述Web数据获取请求建立任务队列；

控制单元，用于当所述集群中具有空闲资源时，控制网络爬虫使用所述空闲资源执行所述任务队列中的任务计划，以获取所述目标网站的Web数据；

所述控制单元具体包括：

第一获取单元，用于基于所述空闲资源，获取所述目标网站的URL；

下载单元，用于将所述URL发送至下载器，以使所述下载器生成并返回所述URL对应的页面数据；

处理单元，用于处理所述页面数据，存储处理后的页面数据；

第二获取单元，用于根据预先设置的网络爬虫与网站的对应关系，获取所述目标网站对应的网络爬虫；

第三获取单元，用于获取设置的所述目标网站对应的网络爬虫的爬取周期，以使所述网络爬虫按照所述爬取周期进行所述Web数据的爬取。

4.根据权利要求3所述的Web数据采集系统，其特征在于，

所述任务队列为分布式消息传递异步的任务队列。

5.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1或2所述Web数据采集方法的步骤。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1或2所述Web数据采集方法的步骤。