[发明专利]用于资源调度模拟压力的方法和设备

说明书

本申请的目的是提供一种用于资源调度器模拟压力的方法和设备，通过资源调度器获取资源请求序列生成器提交的资源请求序列，随后，查找一资源节点，并请求调度所述资源节点的用户资源管理器解析所述资源请求序列；用户资源管理器将所述资源请求序列解析为若干用户资源请求单元并将若干所述用户资源请求单元及相应资源发送至所述资源调度器；资源调度器将所接收到的若干用户资源请求单元及相应资源分配给一个或多个资源节点进行模拟压力处理；最后，用户资源管理器根据资源调度器所分配的所述资源计算模拟用户使用所述用户资源请求单元进行计算需要的时间。资源调度器与用户资源管理器运行在不同的物理节点上，从而实现压力模拟器的可扩展性。

技术领域

本申请涉及计算机领域，尤其涉及一种用于资源调度模拟压力的技术。

背景技术

分布式系统下，资源调度器不仅需要管理集群成千上万个运行在物理节点上的资源节点，同时还需要承担每秒上万次的资源调度请求，并需要在毫秒级别的时间复杂下做出决策。所以对资源调度器在压力下的行为特征的观察和评价就显得非常重要。

由于目前的工业级别的集群规模已达到5000台以上，所以如果需要在这样规模的物理节点下运行资源调度器，不仅困难很大，而且从维护成本来看是非常高的。所以需要一种能在小规模的物理节点上模拟真实的大规模资源节点的技术手段。

目前，分布式系统Hadoop中的调度器负载模拟器(Scheduler Load Simulator，SLS)是一种单机模拟方案，主要目的是为了模拟真实的集群环境对不同的调度器的功能形成任务的压力而设计；将资源调度器和所有的模拟的资源节点都放在一个物理机上，并使用固定格式的资源请求序列作为输入，把压力输入模拟器。这种方案在技术实现中，调度器和模拟器运行在同一个物理机中使得无法实现分布，也无法把模拟器的压力扩展到多个物理节点上，因此导致其能模拟的真实集群规模受限；另外，SLS只能接收一种固定格式的压力序列数据，使得不同来源的数据需要做预处理才能输入给SLS，比如线上集群的日志数据和人工生成的数据格式往往是不一样的，因此限制了其灵活性。

发明内容

本申请的目的是提供一种用于资源调度模拟压力的方法与设备，通过有限的物理节点模拟构建大规模的资源节点集合，以方便对资源调度器进行各方面的指标考察，同时实现了模拟器的可扩展性和提高其灵活性。

根据本申请的一个方面，提供了一种在资源调度器端用于资源调度模拟压力的方法，包括：

获取资源请求序列生成器提交的资源请求序列；

基于所述资源请求序列查找一资源节点，并请求调度所述资源节点的用户资源管理器解析所述资源请求序列；

获取所述用户资源管理器基于所述资源请求序列所解析的若干用户资源请求单元；

将所述若干用户资源请求单元及相应资源分配给一个或多个资源节点进行模拟压力处理。

根据本申请的一个方面，还提供了一种在用户资源管理器端用于资源调度模拟压力的方法，包括：

获取资源调度器所请求解析的资源请求序列；

基于所述资源请求序列解析为若干用户资源请求单元；

将若干所述用户资源请求单元及相应资源发送至所述资源调度器。

根据本申请的一个方面，还提供了一种在用户资源管理器端用于资源调度模拟压力的方法，包括：

获取资源调度器所分配的一个或多个用户资源请求单元及相应资源；

利用所述资源计算模拟用户使用所述用户资源请求单元进行计算需要的时间。

根据本申请的一个方面，还提供了一种在资源请求序列生成器端用于生成资源请求序列的方法，包括：