[发明专利]一种分布式垂直爬虫方法及终端设备

权利要求书

1.一种分布式垂直爬虫方法，其特征在于，该方法应用于一种中控平台，中控平台与任务分发平台、数据分析平台和数据抓取平台相连接，该方法包括：

获取任务分发平台、数据分析平台和数据抓取平台的性能数据；

当所述性能数据的值超过预设值时，发出预警信息。

2.根据权利要求1所述的方法，其特征在于，获取任务分发平台、数据分析平台和数据抓取平台的性能数据包括：

接收所述任务分发平台、数据分析平台和数据抓取平台的性能数据；或，

按照预设时间间隔向所述任务分发平台、数据分析平台和数据抓取平台发送第一指示消息，所述第一指示消息用于指示所述任务分发平台、数据分析平台和数据抓取平台将性能数据发送至所述中控平台；

接收所述任务分发平台、数据分析平台和数据抓取平台的性能数据。

3.根据权利要求1或2所述的方法，其特征在于，该方法还包括：

将抓取任务通过所述任务分发平台分发至所述数据抓取平台，以使得所述数据抓取平台根据所述抓取任务进行数据的抓取。

4.一种分布式垂直爬虫方法，其特征在于，该方法应用于一种任务分发平台，所述任务分发平台与中控平台、数据分析平台和n个数据抓取平台相连接，其中n为正整数，n≥2，该方法包括：

接收所述中控平台或所述数据分析平台的抓取任务；

根据所述抓取任务的任务类型、所述数据抓取平台的终端类型、所述数据抓取平台的网络类型和所述数据抓取平台的爬取能力中的至少一种，确定所述抓取任务的分发策略；

根据所述分发策略，将所述抓取任务分发至所述数据抓取平台。

5.一种分布式垂直爬虫方法，其特征在于，该方法应用于一种数据分析平台，所述数据分析平台与中控平台、任务分发平台和数据抓取平台相连接，该方法包括：

接收所述数据抓取平台发送的抓取结果；

根据所述抓取结果，加载预设置的数据萃取策略，判断是否有新的抓取任务，若有，将所述新的抓取业务通过所述任务分发平台分发至所述数据抓取平台，以使得所述数据抓取平台根据所述新的抓取任务进行数据的抓取，若没有，将所述抓取结果发送至所述中控平台。

6.根据权利要求5所述的方法，其特征在于，所述预设置的数据萃取策略是根据所述抓取任务的业务领域获得的，所述萃取策略通过插件的形式进行加载。

7.一种分布式垂直爬虫方法，其特征在于，该方法应用于一种分布式垂直爬虫系统，该系统包括中控平台、任务分发平台、数据分析平台、数据抓取平台和数据传输平台，其中所述数据传输平台用于所述中控平台、任务分发平台、数据分析平台和数据抓取平台之间的数据传输，该方法包括：

所述中控平台将抓取任务发送至所述任务分发平台；

所述任务分发平台根据所述抓取任务的任务类型、所述数据抓取平台的终端类型、所述数据抓取平台的网络类型和所述数据抓取平台的爬取能力中的至少一种，确定所述抓取任务的分发策略，并根据所述分发策略，将所述抓取任务分发至所述数据抓取平台；

所述数据抓取平台根据所述抓取任务进行数据抓取，并将抓取结果发送至所述数据分析平台；

所述数据分析平台根据所述抓取结果，加载预设置的数据萃取策略，判断是否有新的抓取任务，若有，将所述新的抓取业务通过所述任务分发平台分发至所述数据抓取平台，以使得所述数据抓取平台根据所述新的抓取任务进行数据的抓取，若没有，将所述抓取结果发送至所述中控平台。

8.一种中控平台，其特征在于，所述中控平台与任务分发平台、数据分析平台和数据抓取平台相连接，所述中控平台包括获取单元和预警单元；

所述获取单元，用于获取任务分发平台、数据分析平台和数据抓取平台的性能数据；

所述预警单元，用于当所述性能数据的值超过预设值时，发出预警信息。