[发明专利]一种支持多租户的大数据平台及租户访问方法

说明书

技术领域

本发明涉及大数据技术领域，特别涉及一种支持多租户的大数据平台及租户访问方法。

背景技术

在大数据时代，为了存储和处理海量数据，需要规模较大的服务器集群，一般说来，这些集群上运行着数量众多类型纷杂的应用程序和服务，比如离线作业，流式作业，迭代式作业等，传统的做法是，每种类型的作业或者服务对应一个单独的集群，以避免相互干扰。这样，集群被分割成数量众多的小集群，由于不同类型的作业/服务需要的资源量不同，这些小集群的利用率通常很不均衡，有的集群满负荷、资源紧张，而另外一些则长时间闲置、资源利用率极低。

因而现有技术还有待改进和提高。

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种支持多租户的大数据平台及租户访问方法，其能够解决现有每种类型的作业或者服务对应一个单独的集群，而造成的小集群的利用率不均衡的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

一种支持多租户的大数据平台，其包括：hadoop集群、管理模块和登录模块；

所述hadoop集群用于部署多个业务；

所述管理模块设置于hadoop集群上，用于验证租户访问hadoop的权限，并根据所述权限进行相应操作；

所述登录模块用于获取租户登录请求，验证租户信息。

所述登录模块用于管理租户操作数据、提交任务请求和查看任务进度。

所述管理模块包括：权限管理模块、任务调度模块和资源管理模块；

所述权限管理模块，用于管理多租户的权限，根据不同租户授权，系统管理员配置租户与数据、租户与应用的对应关系；

所述任务调度模块，用于管理员设置任务的调度规则，根据任务调度规则执行工作任务，并监控任务的执行情况；

所述资源管理模块，用于系统管理员根据租户分配集群资源，多租户之间按分配使用存储资源和计算资源。

所述资源管理模块还用于为多租户划分独立的存储空间来实现租户之间的数据隔离，将每个租户的数据信息存储在独立的存储空间中，每个租户数据模型的更改不会影响其他租户的数据。

所述权限管理模块还用于委派给不同管理员对不同数据集设置权限。

一种租户访问大数据平台方法，所述租户访问上述大数据平台，其具体包括：

A、租户通过统一登录模块登录hadoop集群；

B、租户登录成功后，向hadoop集群发送任务请求；

C、管理模块的权限管理模块验证租户是否具有访问任务用到的数据的权限和使用任务用到资源的权限；

D、租户通过验证后，在hadoop集群上执行任务。

所述步骤C，其具体为：

C1、管理模块的权限管理模块验证租户是否具有访问任务用到的数据的权限；

C2、当租户具有访问数据权限，管理模块的权限管理模块验证租户是否具有使用任务用到资源的权限。

有益效果：与现有技术相比，本发明所提供支持多租户的大数据平台，其包括：hadoop集群、管理模块和统一登录模块；所述hadoop集群用于部署多个业务；所述管理模块设置于hadoop集群上，用于管理员管理多租户访问数据和资源的权限，所述统一登录模块用于多租户登录访问hadoop集群。本方法将多个业务统一部署在一个集群上，通过在hadoop集群上设置管理模块和统一登录模块，实现hadoop集群的多租户模式，让多租户同时使用统一的大数据平台，建立统一的调度平台，实现了数据的统一化管理。从根本上解决了现有每种类型的作业或者服务对应一个单独的集群，而造成的小集群的利用率不均衡的问题。

附图说明

图1为本发明提供支持多租户的大数据平台示意图。

图2为本发明提供支持多租户的大数据平台具体实施例示意图。

图3为租户访问大数据平台的流程图。

具体实施方式

本发明提供一种支持多租户的大数据平台及租户访问方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

下面结合附图，通过对实施例的描述，对发明内容作进一步说明。