[发明专利]一种分布式垂直爬虫方法及终端设备

说明书

本发明适用于信息检索技术领域，提供了一种分布式垂直爬虫方法及终端设备，包括：中控平台将抓取任务发送至任务分发平台；任务分发平台根据抓取任务的任务类型、数据抓取平台的终端类型、数据抓取平台的网络类型和数据抓取平台的爬取能力中的至少一种，确定抓取任务的分发策略，并根据分发策略，将抓取任务分发至数据抓取平台；数据抓取平台根据抓取任务进行数据抓取，并将抓取结果发送至数据分析平台；数据分析平台根据抓取结果，加载预设置的数据萃取策略，判断是否有新的抓取任务，若有，将新的抓取业务通过任务分发平台分发至数据抓取平台，若无，将抓取结果发送至中控平台。该方法解决了数据量巨大时爬虫端抓取效率较低的问题。

技术领域

本发明属于信息检索技术领域，尤其涉及一种分布式垂直爬虫方法及终端设备。

背景技术

随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，现有的通用性搜索引擎也存在着一定的局限性，如：不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页；通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深；万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取；通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询等

为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，极大的节省了硬件和网络资源，保存的页面也由于数量少而更新快，能够很好的满足一些特定人群对特定技术领域信息的需求。

就目前互联网的规模来说，单台机器运行的网络爬虫远远不能完成在有效的时间内搜索整个万维网的任务，因此现在采用的网络爬虫都是分布式在多机上并行运行的，称为分布式爬虫，然而，当需要爬取的数据量巨大时，现有的分布式爬虫架构的爬取效率较低。

发明内容

有鉴于此，本发明实施例提供了一种分布式垂直爬虫方法及终端设备，以解决现有技术中当需要爬取的数据量巨大时分布式爬虫爬取效率较低的问题。

本发明实施例的第一方面提供了一种分布式垂直爬虫方法，该方法应用于一种中控平台，中控平台与任务分发平台、数据分析平台和数据抓取平台相连接，该方法包括：

获取任务分发平台、数据分析平台和数据抓取平台的性能数据；

当性能数据的值超过预设值时，发出预警信息。

进一步的，获取任务分发平台、数据分析平台和数据抓取平台的性能数据包括：

接收任务分发平台、数据分析平台和数据抓取平台的性能数据；或，

按照预设时间间隔向任务分发平台、数据分析平台和数据抓取平台发送第一指示消息，第一指示消息用于指示任务分发平台、数据分析平台和数据抓取平台将性能数据发送至中控平台；

接收任务分发平台、数据分析平台和数据抓取平台的性能数据。

进一步的，该方法还包括：

将抓取任务通过任务分发平台分发至数据抓取平台，以使得数据抓取平台根据抓取任务进行数据的抓取。

本发明实施例的第二方面提供了一种分布式垂直爬虫方法，该方法应用于一种任务分发平台，任务分发平台与中控平台、数据分析平台和n个数据抓取平台相连接，其中n≥2，该方法包括：

接收中控平台或数据分析平台的抓取任务；