[发明专利]基于Yarn队列实现多集群多租户资源隔离的方法及系统

说明书

本发明提供了一种基于Yarn队列实现多集群多租户资源隔离的方法及系统，其中方法包括：发送任务的客户端根据任务所属的租户获取集群配置信息；发送任务的客户端将任务与集群配置信息进行拼装，得到拼装信息，并将拼装信息发送至提交任务的代理器；提交任务的代理器接收拼装信息，提取任务中的任务类型和集群配置信息，实例化计算引擎的客户端，利用计算引擎的客户端将任务提交到关联的集群上通过Yarn队列执行。由此可以实现多集群多租户资源隔离。

技术领域

本发明涉及大数据技术集群资源管理技术领域，尤其涉及一种基于Yarn队列实现多集群多租户资源隔离的方法及系统。

背景技术

现有的开源技术方案有以下不足：

1、集群使用Yarn作为资源管理框架时，默认只对内存资源进行管理。虽然Yarn也能支持cpu资源，但在集群规模大、任务多时资源竞争问题很严重；

2、无法解决多租户下多集群的资源分配问题。

发明内容

本发明旨在提供一种克服上述问题之一或者至少部分地解决上述任一问题的基于Yarn队列实现多集群多租户资源隔离的方法及系统。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明的一个方面提供了一种基于Yarn队列实现多集群多租户资源隔离的方法，包括：发送任务的客户端根据任务所属的租户获取集群配置信息；发送任务的客户端将任务与集群配置信息进行拼装，得到拼装信息，并将拼装信息发送至提交任务的代理器；提交任务的代理器接收拼装信息，提取任务中的任务类型和集群配置信息，实例化计算引擎的客户端，利用计算引擎的客户端将任务提交到关联的集群上通过Yarn队列执行。

其中，发送任务的客户端根据任务所属的租户获取集群配置信息包括：发送任务的客户端根据任务所属的租户查询缓存；在查询到缓存中存储有集群配置信息时，从缓存中获取集群配置信息；在查询到缓存中没有存储集群配置信息时，从集群控制台获取集群配置信息。

其中，集群控制台通过Rest访问接口与发送任务的客户端进行通信。

其中，方法还包括：集群控制台在变更集群配置信息时，触发事件通知，并将事件通知发送至发送任务的客户端。

其中，方法还包括：发送任务的客户端接收事件通知，根据事件通知清理缓存。

本发明另一方面提供了一种基于Yarn队列实现多集群多租户资源隔离的系统，包括：发送任务的客户端，用于根据任务所属的租户获取集群配置信息，将任务与集群配置信息进行拼装，得到拼装信息，并将拼装信息发送至提交任务的代理器；提交任务的代理器，用于接收拼装信息，提取任务中的任务类型和集群配置信息，实例化计算引擎的客户端，利用计算引擎的客户端将任务提交到关联的集群上通过Yarn队列执行。

其中，系统还包括：集群控制台；发送任务的客户端，具体用于根据任务所属的租户查询缓存，在查询到缓存中存储有集群配置信息时，从缓存中获取集群配置信息；在查询到缓存中没有存储集群配置信息时，从集群控制台获取集群配置信息。

其中，集群控制台，还用于通过Rest访问接口与发送任务的客户端进行通信。

其中，集群控制台，还用于在变更集群配置信息时，触发事件通知，并将事件通知发送至发送任务的客户端。

其中，发送任务的客户端，还用于接收事件通知，根据事件通知清理缓存。

本发明又一方面提供了一种基于Yarn队列实现多集群多租户资源隔离的系统，其特征在于，包括：集群控制台、发送任务的客户端和提交任务的代理器；其中，集群控制台包括集群信息管理单元、资源控制单元和事件通知单元；