[发明专利]一种网络爬虫方法及系统

说明书

本发明提供一种网络爬虫方法及系统，属于网络搜索技术领域，其可至少部分解决现有的网络爬虫的爬取效率低以及网络爬虫不可扩容或者缩容的问题。本发明的网络爬虫方法包括：根据任务在云端创建多个爬虫节点；将第一信息分配至多个爬虫节点，第一信息包括根据任务提取的信息；记录各爬虫节点的第一信息的分配状态；收集多个爬虫节点发出的第二信息，第二信息包括爬虫节点爬取的信息。通过根据任务在云端快速创建多个爬虫节点，可以根据任务的规模来确定爬取资源的多少，从而使得该网络爬虫系统自动进行扩容或者缩容，进而提高爬取的效率，同时也提高资源的利用率。

技术领域

本发明属于网络搜索技术领域，具体涉及一种网络爬虫方法及系统。

背景技术

随着互联网信息爆炸式的增长，搜索引擎扮演着越来越重要的角色。搜索引擎技术中，网络爬虫是重要的组成部分。

现有技术的网络爬虫系统包括单机爬虫系统和分布式爬虫系统。单机爬虫系统将爬虫系统部署在单机上运行，为了不触发网站的反爬虫机制，不得不降低自身的请求频率，从而使爬取效率极低，且长期占用物理资源。分布式爬虫系统能够在多台机器上分布执行，分布式爬虫系统比单机爬虫系统的效率有所提升，但是由于爬取时所利用的资源有限，从而使得爬取的效率降低以及对硬件资源的利用率也降低。

发明内容

本发明至少部分解决现有的网络爬虫技术由于爬取时所利用的资源有限，从而导致了爬取的效率低的问题，提供一种爬取效率高以及资源利用率高的络爬虫方法及系统。

解决本发明技术问题所采用的技术方案是一种网络爬虫方法，包括：

根据任务在云端创建多个爬虫节点；

将第一信息分配至多个所述爬虫节点，所述第一信息包括根据所述任务提取的信息；

记录所述各爬虫节点的第一信息的分配状态；

收集多个所述爬虫节点发出的第二信息，所述第二信息包括所述爬虫节点爬取的信息。

优选的是，记录所述第一信息的分配状态之后还包括：若检测到任意所述爬虫节点出现错误，则将所述出现错误的所述爬虫节点销毁。

优选的是，将所述出现错误的所述爬虫节点销毁之后还包括：将销毁的所述爬虫节点未完成的任务重新分配给另一个所述爬虫节点。

优选的是，所述将第一信息分配至多个所述爬虫节点包括：将所述第一信息转化为第三信息，再将所述第三信息分配至多个所述爬虫节点，所述第三信息包括根据所述任务提取的所述爬虫节点可识别的信息；收集所述第二信息之前还包括：将第四信息转化为所述第二信息，所述第四信息包括所述爬虫节点爬取的直接信息。

优选的是，所述第一信息分配之前还包括：根据所述任务形成并储存所述第一信息。

优选的是，收集所述第二信息之后还包括：更新并且储存所述第二信息。

解决本发明技术问题所采用的技术方案是一种网络爬虫系统，包括：

创建模块，用于根据任务在云端创建多个爬虫节点；

分配模块，用于将第一信息分别分配至多个所述爬虫节点，所述第一信息包括根据所述任务提取的信息；

记录模块，用于记录所述第一信息的分配状态；

收集模块，用于收集多个所述爬虫节点发出的第二信息，所述第二信息包括所述爬虫节点爬取的信息。

优选的是，还包括：检测模块，用于监控多个所述爬虫节点的运行状态，若检测到任意所述爬虫节点出现错误，则所述检测模块将所述出现错误的所述爬虫节点销毁；重新分配模块，用于将销毁的所述爬虫节点未完成的任务重新分配给另一个所述爬虫节点。