[发明专利]基于Yarn队列实现多集群多租户资源隔离的方法及系统

权利要求书

1.一种基于Yarn队列实现多集群多租户资源隔离的方法，其特征在于，包括：

发送任务的客户端根据任务所属的租户获取集群配置信息；

发送任务的客户端将所述任务与所述集群配置信息进行拼装，得到拼装信息，并将所述拼装信息发送至提交任务的代理器；

所述提交任务的代理器接收所述拼装信息，提取所述任务中的任务类型和所述集群配置信息，实例化计算引擎的客户端，利用所述计算引擎的客户端将所述任务提交到关联的集群上通过Yarn队列执行。

2.根据权利要求1所述的方法，其特征在于，所述发送任务的客户端根据任务所属的租户获取集群配置信息包括：

发送任务的客户端根据所述任务所属的租户查询缓存；

在查询到缓存中存储有所述集群配置信息时，从缓存中获取所述集群配置信息；

在查询到缓存中没有存储所述集群配置信息时，从集群控制台获取所述集群配置信息。

3.根据权利要求2所述的方法，其特征在于，所述集群控制台通过Rest访问接口与所述发送任务的客户端进行通信。

4.根据权利要求2所述的方法，其特征在于，还包括：

所述集群控制台在变更所述集群配置信息时，触发事件通知，并将所述事件通知发送至所述发送任务的客户端。

5.根据权利要求4所述的方法，其特征在于，还包括：

所述发送任务的客户端接收所述事件通知，根据所述事件通知清理缓存。

6.一种基于Yarn队列实现多集群多租户资源隔离的系统，其特征在于，包括：

发送任务的客户端，用于根据任务所属的租户获取集群配置信息，将所述任务与所述集群配置信息进行拼装，得到拼装信息，并将所述拼装信息发送至提交任务的代理器；

所述提交任务的代理器，用于接收所述拼装信息，提取所述任务中的任务类型和所述集群配置信息，实例化计算引擎的客户端，利用所述计算引擎的客户端将所述任务提交到关联的集群上通过Yarn队列执行。

7.根据权利要求6所述的系统，其特征在于，还包括：集群控制台；

所述发送任务的客户端，具体用于根据所述任务所属的租户查询缓存，在查询到缓存中存储有所述集群配置信息时，从缓存中获取所述集群配置信息；在查询到缓存中没有存储所述集群配置信息时，从所述集群控制台获取所述集群配置信息。

8.根据权利要求7所述的系统，其特征在于，所述集群控制台，还用于通过Rest访问接口与所述发送任务的客户端进行通信。

9.根据权利要求7所述的系统，其特征在于，所述集群控制台，还用于在变更所述集群配置信息时，触发事件通知，并将所述事件通知发送至所述发送任务的客户端，所述发送任务的客户端还用于接收所述事件通知，根据所述事件通知清理缓存。

10.一种基于Yarn队列实现多集群多租户资源隔离的系统，其特征在于，包括：

集群控制台、发送任务的客户端和提交任务的代理器；

其中，

所述集群控制台包括集群信息管理单元、资源控制单元和事件通知单元；

所述发送任务的客户端包括缓存器单元和事件处理单元；

其中，所述集群信息管理单元，用于管理所有集群配置信息，添加新的集群配置信息，对已有的集群配置信息进行修改、删除操作，和/或管理租户和Yarn队列的逻辑关系；

所述资源控制单元，用于使用Apache Hadoop Yarn作为统一的资源管理和调度框架，节点机器统一使用基于Linux内核的系统，并使用cgroup组件控制系统资源，和/或集群中的计算资源通过Yarn队列进行分配；

所述事件通知单元，用于修改或删除一个集群配置信息时引发集群事件通知，和/或修改租户与Yarn队列的逻辑关系时引发租户事件通知；

所述缓存器单元，用于缓存所述集群配置信息；

所述事件处理单元，用于监听所述事件通知单元，并接收事件通知，处理集群事件和/或处理租户事件。