[发明专利]一种任务分发方法及系统

说明书

技术领域

本发明涉及一种任务分发方法及系统，主要适用于网站发布任务的分发领域。

背景技术

随着互联网技术的发展，新闻门户网站的内容数量成指数增长，并且为了延伸网民的阅读，网站设计者还会在其他页面、区域中放置相关内容的索引链接，吸引网民阅读。随着采集渠道的丰富、内容范围越来越广，内容发布所要更新的页面数量急剧膨胀，随之带来的问题是如何保证大量页面更新状况下，页面生成通道将面临巨大压力，从而导致生成任务不能快速响应。

目前解决这类问题的方法主要有两种，监控生成通道状态分配任务和平均分配任务，监控生成通道状态分配任务的方法一般有两种方式，即通过硬件监控服务器状态和通过程序监控服务器状态并分发任务。这两种方法都有自己明显的缺点。

通过专业硬件设备监控服务器状态的方法，优点是任务分配精准，可以精确的控制生成任务分发到某一个生成通道，保证各个生成通道负载的相对均衡。缺点也非常明显，如果采用硬件设备监控服务器状态，成本高昂(例如，F5负载均衡设备价格约20万元人民币)。

而采用程序监控服务器状态，监控/任务分发程序必须频繁获取服务器负载状态，由于页面生成任务的任务量巨大，一般中型以上门户网站生成页面数量约为每秒1000个页面。因此要想做到任务分配准确，监控/任务分发程序必须实时获取服务端的任务执行情况及负载压力，若满足条件再为其分配任务。这种机制带来的局限是，监控程序轮询时间必须很小，才能保证分配的准确性，而轮询频率越高则服务端开销也会随之提高。另外生成服务器的生成任务需要等待监控/任务分发程序来指定的，因此在面对大量并发更新的情况下，系统性能的瓶颈很容易集中在监控程序。而如果采取集群方式提高监控程序的并发量，由此会对监控程序的复杂性和任务分配算法的准确性提出极高的要求。

而平均分配任务的方法是将每个生成任务依次或按一定顺序分配个某一个生成通道。优点是实现简单，缺点也非常明显，即很难保证各个生成通道任务的相对均衡。由于每个任务的页面更新数量具有不确定性，受内容数据和页面间引用关系的影响，会导致某些生成任务实际更新了大量的静态页面，而某些任务仅仅更新了少量几个页面。因此平均分配任务的方式很可能会产生这种情况，某一个生成通道刚收到一个更新页面很多的生成任务，而其他生成通道的任务仅需要更新少量页面，当新任务再次被分发到这个通道，而该通道还没有执行完上次的更新任务时，会导致任务的堆积，负载增大。而同时其他生成通道没有被分配到任务，处于闲置状态，使得硬件服务器资源没有被有效利用。

发明内容

针对现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种负载均衡的任务分发方法及系统。

为解决上述技术问题，本发明采用的技术方案如下：

一种任务分发方法，包括以下步骤：

生成任务消息文件，并存储在任务消息目录；

对于每一个任务处理装置，如果处于闲置状态，则定时扫描任务消息目录，查询是否存在待处理的且没有被锁定的任务消息文件；如果存在，则获取所述任务消息文件并锁定；

任务处理装置处理所述任务消息文件。

一种任务分发系统，包括任务消息文件生成装置及与所述任务消息文件生成装置连接的若干任务处理装置；

所述任务消息文件生成装置用于生成任务消息文件，并存储在任务消息目录；所述任务处理装置用于在闲置状态时获取待处理的且没有被锁定的任务消息文件并处理该获取的任务消息文件。

本发明所述方法及系统，多个任务处理装置只有在闲置状态下才会领取任务，当任务数量大于任务处理装置个数后，每个任务处理装置都在处理任务，而没有闲置的任务处理装置，因此可以认为任务的分配满足了各个任务处理装置负载均衡的要求。同时由于采用文件系统存储任务消息文件，从软件层面解决了上述问题，降低了硬件成本和实施成本。

附图说明

图1是具体实施方式中任务分发系统的结构框图；

图2是具体实施方式中任务分发方法的流程图；

图3是具体实施方式中将任务消息文件存储在任务消息目录的处理过程流程图；

图4是具体实施方式中处理任务消息文件失败后的处理过程流程图。

具体实施方式