[发明专利]面向分布式编程框架的资源管理系统

权利要求书

1.一种面向分布式编程框架的资源管理系统，其特征在于，包括主部分和从部分，其中：

所述从部分，用于启动编程框架执行器，监控编程框架执行器的运行状态，向所述主部分的调度器上报编程框架执行器的运行状态，向所述主部分报告该从部分的资源使用信息和该从部分上编程框架执行器的资源使用信息；

所述主部分包括：

收集器，用于接收并保存所述从部分的资源使用信息和所述从部分上编程框架执行器的资源使用信息，保存集群资源信息；

所述收集器中包括监控器，用于监控所述从部分上编程框架执行器的资源使用信息，并根据编程框架定制的资源调整决策触发器向调度器发送为编程框架增加或减少资源的任务；

调度器，用于调度、下发和控制所述监控器发送的为编程框架增加或减少资源的任务。

2.根据权利要求1所述的面向分布式编程框架的资源管理系统，其特征在于，所述调度器中包括：

关键资源匹配模块，用于根据关键资源匹配算法选择匹配机器，所述关键资源匹配算法为：计算一台机器中每种资源的需求-可用比，所述需求-可用比为资源的需求与可用的比例，用需求-可用比最高的资源的需求-可用比作为该机器的关键资源比例，从集群中选出关键资源比例最高的机器作为匹配机器；

容器创建模块，用于在所述关键资源匹配模块选择的匹配机器上执行资源增加任务创建容器；

资源分配模块，用于将所述容器创建模块所创建的容器的资源分配给提出资源要求的编程框架。

3.根据权利要求2所述的面向分布式编程框架的资源管理系统，其特征在于，所述容器为Linux容器。

4.根据权利要求1所述的面向分布式编程框架的资源管理系统，其特征在于，所述决策触发器包括过载触发器，一个编程框架对应一个过载触发器，过载触发器判断编程框架是否处于高负载状态，若是则提出为编程框架增加资源的要求，所述高负载状态是指一个编程框架的所有执行器在过载触发器周期内的平均CPU利用率大于设定的CPU利用率阈值的情况。

5.根据权利要求4所述的面向分布式编程框架的资源管理系统，其特征在于，所述过载触发器周期为60秒。

6.根据权利要求1所述的面向分布式编程框架的资源管理系统，其特征在于，所述决策触发器包括空闲触发器，一个执行器对应一个空闲触发器，空闲触发器判断执行器当前是否处于空闲状态，若是则关闭该执行器，并回收该执行器的资源，所述空闲状态是指在空闲触发器周期内，执行器的子进程数目小于设定的数目阈值的情况。

7.根据权利要求6所述的面向分布式编程框架的资源管理系统，其特征在于，所述空闲触发器周期为5分钟。

8.根据权利要求1所述的面向分布式编程框架的资源管理系统，其特征在于，所述从部分的资源使用信息包括从部分总的CPU个数、从部分总的内存大小、从部分当前的可用CPU个数、从部分当前的可用内存大小和从部分当前的CPU利用率。

9.根据权利要求1所述的面向分布式编程框架的资源管理系统，其特征在于，所述编程框架的资源使用信息包括编程框架当前占用的CPU利用率、编程框架占用的内存大小和编程框架当前的子进程数目。

10.根据权利要求1所述的面向分布式编程框架的资源管理系统，其特征在于，所述分布式编程框架包括Hadoop编程框架、消息传递接口MPI编程框架。

11.根据权利要求1所述的面向分布式编程框架的资源管理系统，其特征在于，所述从部分通过向所述主部分发送心跳信息来向所述主部分报告该从部分的资源使用信息和该从部分上编程框架执行器的资源使用信息，所述从部分的资源使用信息和该从部分上编程框架执行器的资源使用信息包含在所述心跳信息中。