[发明专利]一种支持hadoop多集群的细粒度数据权限控制方法及系统

说明书

本发明提供了一种支持hadoop多集群的细粒度数据权限控制方法，包括确定各权限组的权限组名以及所述权限组的相关描述；为所述权限组按特定顺序分配权限；保存分配好权限的所述权限组；给用户分配相应的所述权限组；登录大数据平台，基于从被分配的所述权限组获得的权限，切换集群及集群账号，查看其有权限的数据权限。本发明能够在集群账号已有的权限基础上进行分层的细粒度控制，在大数据平台层面对hadoop集群的数据权限进行统一的授权管理，在对数据权限授权时，同一个权限组可跨多个集群的多个集群账号及其特定的权限，用户可切换集群以及切换集群账号身份来操作相关数据服务。本发明还公开了了一种支持hadoop多集群的细粒度数据权限控制系统。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种支持hadoop多集群的细粒度数据权限控制方法及系统。

背景技术

在大数据平台这类系统中，用户可通过图形化界面对hbase，hive，hdfs文件进行管理，但是当前平台缺乏颗粒级的支持。许多对安全系数要求较高的组织要么将数据置于非保护状态，对于一个集群账号下的权限都可见，要么对所有用户不可见。大多数企业会严格限制对Hadoop数据的访问，且只支持单集群的权限控制。

当前优秀的Hadoop的授权组件为Sentry，在HueServer2中使用了Sentry进行细粒度的、基于角色的权限控制。Sentry还支持授予角色只能执行某一类型的SQL查询的权限。相比来说，Sentry的授权更加全面，在hive方面，它做的更好，同样支持hive表列的授权，同时更支持Sql查询类型的授权，在执行真正的操作之前会检索mysql验证是否有权限，但是，Sentry目前并不支持hdfs文件内容的授权，也不支持hbase表列的授权，对集群数据权限的控制没有提供统一的多集群权限授权管理，对已有的集群账号的权限没有分层的概念。

Sentry是针对hadoop集群组件本身的权限，通过基于角色的授权可以将访问同一数据集的不同特权级别授予多个组，在数据集本身的权限上进行授权管理，即Sentry是从权限源头支持更细粒度的授权访问控制，并不是在集群账号已有的权限基础上进行分层的细粒度控制。对已有的集群账号的权限，没有进行细粒度的控制，如果需要一个集群账号的部分权限，Sentry会创建一个组，分配相应的角色，再分配给另一个集群账号才能实现，并没有基于当前已有的集群账号的权限进行分层次的更细粒度的分配。Sentry对hadoop的数据权限hbase，hdfs的支持不够细粒度，未支持hbase基于表列级别的权限控制，对有规则的hdfs文件未进行列或内容级别的权限控制。Sentry不支持对用户进行多集群的授权行为，不支持集群的切换及集群账号的切换。

发明内容

有鉴于此，本发明提供了一种支持hadoop多集群的细粒度数据权限控制方法及系统，能够在集群账号已有的权限基础上进行分层的细粒度控制，在大数据平台层面对hadoop集群的数据权限进行统一的授权管理，在对数据权限授权时，同一个权限组可跨多个集群的多个集群账号及其特定的权限，用户可切换集群及切换集群账号身份来操作相关数据服务。

本发明提供了一种支持hadoop多集群的细粒度数据权限控制方法，包括：

确定各权限组的权限组名以及所述权限组的相关描述；

为所述权限组按特定顺序分配权限；

保存分配好权限的所述权限组；

给用户分配相应的所述权限组；

登录大数据平台，基于从被分配的所述权限组获得的权限，切换集群及集群账号，查看有权限查看的数据。

优选地，所述为所述权限组按特定顺序分配权限包括：

为所述权限组选取集群；

为所述权限组选取所述集群内部的集群账号；