[发明专利]一种基于大数据计算的分布式调度方法及系统

权利要求书

1.一种基于大数据计算的分布式调度方法，其特征在于：所述分布式调度方法包括：

根据用户的申请为其创建一个独享的资源空间Zone；

用户在资源空间Zone中创建多个任务通道Channel，并创建提交自己的任务Job到ChannelRoute，ChannelRoute将接收到的Job分配到对应的Channel；

Channel调用ResourceManager向Channel中的各个节点分配容器，并向NodeManger发布通知以及运行AppMaster，同时NodeManger实时监控Job的运行状态，并将Job分拆为task；

AppMaster向另一节点分发task到另一节点并实时监控task的运行状态，以及向ResourceManager发送心跳数据并注销释放资源。

2.根据权利要求1所述的一种基于大数据计算的分布式调度方法，其特征在于：所述ChannelRoute将接收到的Job分配到对应的Channel包括：

判断待下发Job的性能要求和所需资源空间大小，根据所需资源空间大小与资源空间Zone的剩余空间进行匹配；

当匹配不满足时，则拒绝执行Job的分配下发，并向用户发布扩容提示；

当匹配满足时，则根据性能要求划分到具体的Channel中，根据Job所需的资源空间量，下发到ResourceManager并确认当前集群是否满足Job所需资源空间量，满足则下发，不满足，则等待。

3.根据权利要求1所述的一种基于大数据计算的分布式调度方法，其特征在于：每当用户发布一个任务Job时，则从资源空间Zone中扣减该任务Job大小的资源空间量，当该任务Job删除时则恢复任务Job大小的资源空间量。

4.根据权利要求1所述的一种基于大数据计算的分布式调度方法，其特征在于：所述资源空间Zone中创建的多个任务通道Channel中不同的Channel资源是物理隔离的，每个Channel只对应一个任务Job，以避免不同等级的Job之间的相互资源竞争，不同等级的Job采用不同级别的服务器硬件配置。

5.一种基于大数据计算的分布式调度系统，其特征在于：它包括创建模块，所述创建模块用于创建一个独享的资源空间Zone，并根据用户的需求在资源空间Zone中创建多个任务通道Channel；

ChannelRoute模块：用于接收用户提交的任务Job，并根据任务Job的性能要求和所需资源空间大小分配到对应的Channel中；

ResourceManager模块：根据所述ChannelRoute模块分配的Job向Channel中的各个节点分配容器以及集群中的计算节点。

6.根据权利要求5所述的一种基于大数据计算的分布式调度系统，其特征在于：每个Channel中包括多个节点，节点中包括NodeManger、AppMaster和所述ResourceManager模块分配的容器Container；所述NodeManger用于接收所述ResourceManager模块发送的通知，实时监控Job的运行状态，并将Job分拆为task；所述AppMaster用于向另一节点分发task到另一节点并实时监控task的运行状态，以及向ResourceManager发送心跳数据并注销释放资源。

7.根据权利要求5所述的一种基于大数据计算的分布式调度系统，其特征在于：所述根据任务Job的性能要求和所需资源空间大小分配到对应的Channel中包括：

判断待下发Job的性能要求和所需资源空间大小，根据所需资源空间大小与资源空间Zone的剩余空间进行匹配；

当匹配不满足时，则拒绝执行Job的分配下发，并向用户发布扩容提示；

当匹配满足时，则根据性能要求划分到具体的Channel中，根据Job所需的资源空间量，下发到ResourceManager并确认当前集群是否满足Job所需资源空间量，满足则下发，不满足，则等待。

8.根据权利要求5所述的一种基于大数据计算的分布式调度系统，其特征在于：资源空间Zone中不同的Channel资源是物理隔离的，每个Channel只对应一个任务Job，以避免不同等级的Job之间的相互资源竞争，不同等级的Job采用不同级别的服务器硬件配置。