[发明专利]一种应用于分布式采集系统的任务调度方法

权利要求书

1.一种应用于分布式采集系统的任务调度方法，其特征在于，其具体实现过程为：将采集任务动态分配到集群的若干服务器中，每台服务器都配备采集程序且执行不同的采集任务，从而完成动态采集监控。

2.根据权利要求1所述的一种应用于分布式采集系统的任务调度方法，其特征在于，所述任务调度过程的详细步骤为：

部署服务器集群和控制该集群的控制台，在集群内的每台服务器上均配置采集程序；

在控制台上设置任务调度策略，即确定任务名称、最大线程数、执行任务的所有采集程序服务器地址信息；

通过控制台配置采集任务信息，该信息包括任务名称、任务执行类、任务执行的开始时间和结束时间、数据任务项；

将上述信息配置完成后保存，由控制台系统自动分发任务给集群并执行采集任务，完成采集过程。

3.根据权利要求2所述的一种应用于分布式采集系统的任务调度方法，其特征在于，所述采集用的集群为ZooKeeper服务器集群，该集群内的服务器实现对各个采集节点的监控，在采集程序中集成ZooKeeper，配置ZooKeeper集群相关信息；采集程序中集成分布试调试管理框架，以实现任务的动态分发调度。

4.根据权利要求3所述的一种应用于分布式采集系统的任务调度方法，其特征在于，所述分布试调试管理框架是指TbSchedule开源框架，并实现IScheduleTaskDealMulti批量任务接口。

5.根据权利要求4所述的一种应用于分布式采集系统的任务调度方法，其特征在于，所述IScheduleTaskDealMulti接口实现类的selectTasks，获取要采集的网站及采集类型信息，获取参数由调度器自行分配，该selectTasks参数为采集网站、网站类别的数据集合，集合信息存储在数据库中。

6.根据权利要求5所述的一种应用于分布式采集系统的任务调度方法，其特征在于，所述采集任务的分配通过调度程序完成，该调度程序自动查询出selectTasks参数，并根据配置信息，对数据ID的哈希值取模，将任务均分，使得系统按任务项将任务均分给采集服务器。