[发明专利]一种基于机器实时负载和任务状态机的节点筛选方法及装置

说明书

本发明公开了一种基于机器实时负载和任务状态机的节点筛选方法及装置，所述方法包括：中央监控节点获取各机器监控到的实时负载数据；所述中央监控节点获取各机器的性能评分；所述中央监控节点基于所述各机器的实时负载数据以及性能评分，筛选出适应于资源超售的候选机器。

技术领域

本发明涉及机器筛选技术领域，尤其涉及一种基于机器实时负载和任务状态机的节点筛选方法及装置。

背景技术

目前主要通过设计并制作黑名单的方式来进行机器筛选，主流的设计黑名单方式有黑名单机制和设置白名单列表机制。

在Apache/Hadoop中使用的即是黑名单机制，在Hadoop中每个作业(job)中维护一个TaskTracker黑名单，如果某个job在某个TaskTracker上失败的Task数超过设定值，就将该TaskTracker加入该job的黑名单。当一个job执行成功后，如果满足设定的条件，如该TaskTracker已经被多个job加入黑名单，该TaskTracker被加入黑名单的次数超过设定阈值等，则将该job黑名单中的TaskTracker加入集群黑名单。加入集群黑名单的TaskTracker暂时不接受调度，直到满足一定的恢复机制。因为job失败存在很多原因，使得该机制存在一定的漏洞。

在Apache/Mesos中使用白名单列表的方式来进行机器过滤。白名单机制相对黑名单机制逻辑更加简洁，是黑名单机制的优化。在集群中运行的job，失败job的task失败很重要的原因是自身有bug，而机器本身可能并没有问题，这就使得黑名单机制具有较多缺漏。在mesos中，具体的调度进程注册白名单列表的过滤器(Filter)供主(Master)节点预先筛选不满足要求的资源，因为调度过程中只需要能正常运行的机器，如果一个job能在某个机器上正常运行，则可说明该job和该机器都是没有问题的，可以用于后续的调度。白名单机制使得筛选结果更准确，简化了筛选逻辑，但是筛选的结果只是保证任务能正常运行，并不能很好保证任务执行的质量。

现有的机器筛选实现方式只能用于机器过滤，即只是简单的通过设置阈值或筛选条件等方式将所有机器分为满足条件和不满足条件两大类，筛选机器的过程只是用于过滤。目前技术存在以下几个方面的问题，(1)筛选粒度太粗，筛选条件过于单一，没有从多个维度进行筛选，使得筛选结果的准确率不高且筛选结果不能被重复使用，需要进行频繁筛选；(2)没有记录筛选出的机器的硬件信息、资源信息等，在进行机器选择时只能通过随机的方式进行，这就导致在运行时会出现频繁中途被杀的情况，降低作业执行的概率和效率；(3)目前机器筛选仅仅用于机器加黑，不能为其他用途进行机器筛选；(4)目前黑名单机制没有考虑实时负载，存在单节点负载很高时仍然进行作业调度的情况，容易出现机器hung住的现象。

发明内容

为解决上述技术问题，本发明实施例提供了一种基于机器实时负载和任务状态机的节点筛选方法及装置。

本发明实施例提供的基于机器实时负载和任务状态机的节点筛选方法，包括：

中央监控节点获取各机器监控到的实时负载数据；

所述中央监控节点获取各机器的性能评分；

所述中央监控节点基于所述各机器的实时负载数据以及性能评分，筛选出适应于资源超售的候选机器。

本发明实施例中，所述中央监控节点获取各机器监控到的实时负载数据，包括：

所述中央监控节点获取各机器周期性上报的实时负载数据，其中，所述机器周期性上报的实时负载数据通过以下过程获得：机器每隔周期时长采集负载指标关联的核心元数据，并从所采集到的核心元数据过滤掉异常数据，对筛选出来的有效核心元数据进行缓存；当所缓存的有效核心元数据达到预设数量或当周期时长达到时，将所缓存的有效核心元数据上报至所述中央监控节点。

本发明实施例中，所述各机器的性能评分通过以下过程获得：