[发明专利]一种处理节点数量调整方法及装置

说明书

本发明实施例公开了一种处理节点数量调整方法及装置，应用于实时计算系统中的管理节点，方法包括：检测是否接收到所述管理节点所管理的处理节点发送的任务处理完成消息；如果是，根据预先设置的管理节点所管理的处理节点的最大负载率和最小负载率，确定管理节点管理的处理节点对应的目标负载率；根据目标负载率、基本负载率以及管理节点所管理的处理节点的当前数量，确定处理节点数量调整后的目标数量，其中，基本负载率为所记录的负载率的平均值；根据当前数量以及目标数量，确定处理节点数量是否需要调整；如果是，根据目标数量对管理节点所管理的处理节点的数量进行调整。应用本发明实施例，提高了处理节点的资源利用率。

技术领域

本发明涉及实时计算技术领域，特别涉及一种处理节点数量调整方法及装置。

背景技术

实时计算是近几年兴起的技术，相较于批处理，实时计算可以快速的返回计算结果，最小处理延迟可以达到秒级，因此，实时计算系统被广泛应用到报表统计，实时推荐，ETL(Extraction Transformation Loading，数据提取、转换和加载)等领域。

在现有的实时计算系统中包括管理节点和处理节点，管理节点将获取到的用户的实时数据分割成多个任务，将同一个任务调度给所有的处理节点处理，处理节点对接收到的数据进行处理并将处理结果反馈给管理节点。如果处理该任务所花费的时间小于用户预先设置的时间间隔，则管理节点等待直至到达预先设置的时间间隔，才会调度下一个任务给处理节点处理，在等待期间，该管理节点管理的所有处理节点均处于空闲状态。在现有技术中，管理节点能够调度的处理节点的数量，可以在未运行实时处理程序时进行调整，调整过程为：根据估算的最大负载确定需要的处理节点的数量，根据所确定的处理节点的数量，对自身当前管理的处理节点的数量进行调整。

在实时计算系统中，管理节点只能在未运行实时处理程序时，基于估算的最大负载对处理节点的数量进行调整，为了防止程序运行失败而造成的任务不能被处理的情况发生，一般估算的最大负载都大于实际使用时的最大负载，且负载与处理节点的数量成正比，则现有的方法使得管理节点管理的处理节点数量比实际需要的处理节点的数量多。因此，在实际运行时，会导致处理任务所花费的时间会小于预先设置的时间间隔，使得在每一次对任务进行处理时，均有一段时间所有处理节点都处于空闲状态，这样造成了处理节点的资源利用率较低。

发明内容

本发明实施例的目的在于提供一种处理节点数量调整方法及装置，以提高处理节点的资源利用率。

为达到上述目的，本发明实施例公开了一种处理节点数量调整方法，应用于实时计算系统中的管理节点，所述方法包括：

检测是否接收到所述管理节点所管理的所有处理节点发送的任务处理完成消息；

如果是，根据预先设置的所述管理节点所管理的处理节点的最大负载率和最小负载率，确定所述管理节点管理的处理节点对应的目标负载率；

根据所述目标负载率、基本负载率以及所述管理节点所管理的处理节点的当前数量，确定处理节点数量调整后的目标数量，其中，所述基本负载率为所记录的负载率的平均值；

根据所述当前数量以及所述目标数量，确定处理节点数量是否需要调整；

如果是，根据所述目标数量对所述管理节点所管理的处理节点的数量进行调整。

较佳的，所述目标负载率为：

所述最大负载率和所述最小负载率的平均值。

较佳的，所述根据所述目标负载率、基本负载率以及所述管理节点所管理的处理节点的当前数量，确定处理节点数量调整后的目标数量所采用的公式为：

较佳的，所记录的负载率中的负载率i＝任务i的实际处理时间/预设的任务i的目标处理时间。