[发明专利]分布式系统的网页分配方法及系统

说明书

技术领域

本发明涉及数据处理领域，尤其涉及一种分布式系统的网页分配方法及系统。

背景技术

网页采集是一种对特定网页进行采集的简称，对于网页采集而言，现有的网页采集一般在分布式系统内实现，但是现有的网页采集无法依据实际情况对网页采集的任务进行分配，导致网页采集效率低。

发明内容

本申请提供一种分布式系统的网页分配方法。其解决现有技术的技术方案效率低的缺点。

一方面，提供一种分布式系统的网页分配方法，所述方法包括如下步骤：

分布式设备接收或发起任务消息，所述任务消息用于在分布式系统中分配网页采集任务；

分布式设备将N个数据包依次发送给分布式系统的其他M个设备；

分布式设备统计M个设备返回的N个数据包的M组N个时延；

分布式设备依据每组N个时延中的最大时延分配网页任务。

可选的，所述分布式设备依据该M个时延和分配网页采集任务，具体包括：

分布式设备对最大时延在第一区间的X个设备分配第一组网页采集任务，将最大时延在第二区间的Y个设备分给第二组网页采集任务，其中第一区间的X个设备的最大时延低于第二区间的Y个设备的最大时延，第一组网页采集任务大于第二组网页采集任务。

可选的，所述方法还包括：

分布式设备在配置完第一网页采集任务时，将第一网页采集任务群发给分布式系统的其他设备，接收其他设备返回的确认消息。

第二方面，提供一种分布式系统的网页分配系统，所述系统包括：分布式设备以及M个设备，所述分布式设备与M个设备连接；

分布式设备，用于接收或发起任务消息，所述任务消息用于在分布式系统中分配网页采集任务；将N个数据包依次发送给分布式系统的其他M个设备；统计M个设备返回的N个数据包的M组N个时延；依据每组N个时延中的最大时延分配网页任务；

所述M个设备，用于接收分配网页采集任务执行网页采集。

可选的，所述分布式设备，还用于对M个时延和中位于第一区间的X个设备分配第一组网页采集任务，将第二区间的Y个设备分给第二组网页采集任务，其中第一区间的X个设备的时延和低于第二区间的Y个设备的时延和，第一组网页采集任务大于第二组网页采集任务。

可选的，所述分布式设备，还用于在配置完第一网页采集任务时，将第一网页采集任务群发给分布式系统的其他设备，接收其他设备返回的确认消息。

第三方面，提供一种分布式设备，包括：处理器、无线收发器、存储器和总线，所述处理器、无线收发器、存储器通过总线连接，

所述无线收发器，用于接收或发起任务消息，所述任务消息用于在分布式系统中分配网页采集任务；

所述处理器，用于将N个数据包依次发送给分布式系统的其他M个设备；统计M个设备返回的N个数据包的M组N个时延；依据每组N个时延中的最大时延分配网页任务。

可选的，所述处理器，用于对最大时延在第一区间的X个设备分配第一组网页采集任务，将最大时延在第二区间的Y个设备分给第二组网页采集任务，其中第一区间的X个设备的最大时延低于第二区间的Y个设备的最大时延，第一组网页采集任务大于第二组网页采集任务。

可选的，所述处理器，用于在配置完第一网页采集任务时，将第一网页采集任务群发给分布式系统的其他设备，接收其他设备返回的确认消息。

第四方面，提供一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行第一方面提供的方法。

本发明提供的技术方案通过最大时延来分配网页采集的任务，即最大时延较小的设备分配较多的网页采集任务，最大时延较大的设备分配较少的网页采集任务，从而提高了效率的优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一较佳实施方式提供的一种分布式系统的网页分配方法的流程图；

图2为本发明第二较佳实施方式提供的一种分布式系统的网页分配系统的结构图。

图3为本发明第二较佳实施方式提供的一种分布式设备的硬件结构图。

具体实施方式