[发明专利]基于分布式数据采集任务调度方法及装置

说明书

本发明公开了一种基于分布式数据采集任务调度方法，其包括：获取待处理任务；对待处理任务分类得到多个周期性重复任务；记录每个周期性重复任务在前n次执行中每次执行的起止时间点；计算每个周期性重复任务在前n次执行中的平均间隔时长每个周期性重复任务下一次执行的起始时间点，确定多个周期性重复任务的下一次执行顺序；记录每个任务执行器的负载；向多个任务执行器分别发送任务请求信号，并接受各个任务执行器的反馈信号；向接受到的第一个反馈信号对应的任务执行器发送需要最先执行的周期性重复任务。本发明还公开了一种基于分布式数据采集任务调度装置。本发明能够使得分布式系统执行任务时取得最优效果，运行更加稳健。

技术领域

本发明涉及计算机信息技术领域。更具体地说，本发明涉及一种基于分布式数据采集任务调度方法及装置。

背景技术

近年来随着计算机系统的不断壮大，分布式系统作为解决当下计算机问题的必要手段备受关注，而所述分布式系统是多个处理机通过通信线路互联而构成的松散耦合的系统，每个处理机相当于一台个人计算机，其受到分布式系统的统一调度进行分工合理的协作。所以如何进行任务调度对于发挥分布式系统整体性能，保持系统负载均衡、稳健、高可用等方面至关重要。目前通用的调度算法多为解决某一类特定问题，比如轮转法、加权法、散列法、最少连接法、最低缺失法、最快响应法，同时单一算法易导致系统震荡，造成节点间任务不均，从而干扰正常的系统负载平衡，使分布式系统无法高效工作。

发明内容

本发明的一个目的是解决至少上述问题，并提供至少后面将说明的优点。

本发明还有一个目的是提供一种基于分布式数据采集任务调度方法及装置，其通过对任务进行分类定级，结合任务执行器的状态动态分配任务，达到分布式系统执行任务时可取得最优效果的目的，使分布式系统运行更加稳健。

为了实现根据本发明的这些目的和其它优点，提供了一种基于分布式数据采集任务调度方法，其应用于包含多个任务执行器的分布式系统，所述方法包括：

获取待处理任务；

对待处理任务分类得到多个周期性重复任务；

记录每个周期性重复任务在前n次执行中每次执行的起止时间点；

根据每个周期性重复任务在前n次执行中每次执行的起止时间点计算每个周期性重复任务在前n次执行中每相邻两次执行的间隔时长t_i，再根据每个周期性重复任务在前n次执行中每相邻两次执行的间隔时长t_i计算每个周期性重复任务在前n次执行中的平均间隔时长根据每个周期性重复任务在最近一次执行的终止时间点和平均间隔时长算得每个周期性重复任务下一次执行的起始时间点，确定多个周期性重复任务的下一次执行顺序；

记录每个任务执行器的负载，所述负载包括CPU使用率、内存使用率和IO使用率；

向多个任务执行器分别发送任务请求信号，并接受各个任务执行器的反馈信号，所述反馈信号是各个任务执行器在接收到任务请求信号后根据自身负载进行延时后发出的，不同负载对应不同延时时长；向接受到的第一个反馈信号对应的任务执行器发送多个周期性重复任务中需要最先执行的周期性重复任务。

优选的是，还包括：

根据每个周期性重复任务在前n次执行中每次执行的起止时间点计算每个周期性重复任务在前n次执行中每次的执行时长t_j，再根据每个周期性重复任务在前n次执行中每次执行的执行时长t_j计算每个周期性重复任务在前n次执行中的平均执行时长

根据周期性重复任务所分配的任务执行器的负载和该周期性重复任务平均执行时长确定是否需要将该周期性重复任务拆分成多个子任务；

将需要拆分的周期性重复任务拆分成多个子任务，并将多个子任务进行重新调度。

优选的是，还包括：