[发明专利]一种面向Hadoop的自适应权限控制方法及装置

说明书

本发明提供了一种面向Hadoop的自适应权限控制方法及装置，其中方法包括：获取Hadoop各个组件上用户的日志信息，得到日志记录数据，其中，日志记录数据包括：平台日志信息和审计日志信息；根据日志记录数据进行日志记录数据分析，得到日志记录数据分析结果；根据日志记录数据分析结果生成用户权限调整建议，利用用户权限调整建议调整待调整用户的权限；将所述待调整用户的最新的权限写入到所述Hadoop的各个相应组件上。通过收集Hadoop各个组件的日志，采用对日志记录数据分析的方法对每一个用户贴标签，再针对用户的多个标签进行分析，得出用户权限的调整建议，并为用户授予最新权限，由此节省人力资源和管理员的业务培训费用，提高Hadoop组件的安全保护能力。

技术领域

本发明涉及计算机领域，尤其涉及一种面向Hadoop的自适应权限控制方法及装置。

背景技术

得益于政府鼓励，创新技术的研发与应用实践获得政策支持，近些年来企业对大数据技术的采用比例显著提升，越来越多的应用数据能够被企业收集到，这些数据具有大量、多样、实时的特点，在此大数据背景下，Hadoop分布式计算系统因其能够存储并快速处理大量数据在工业界和学术界得到了广泛应用。但由于Hadoop自身安全机制依赖Kerberos、非对称加密的Token认证机制、传输加密机制、基于Linux/Unix系统自带的访问控制机制，在认证、访问、授权等方面存在不足，而访问授权机制却是大数据平台的安全基石，用户来自于多种组织、机构或部门，单个用户又通常具有多种数据访问需求，如何合理设定角色并为每个用户动态分配角色的权限是Hadoop平台面对的新安全挑战。

当前国内外关于大数据访问控制技术的研究主要是基于Hadoop开源平台进行研究的，权限控制产品的两大代表分别是Cloudera的Sentry和Hortonworks的Ranger：

1)Sentry和Ranger均具备了大数据访问授权管理的基本功能。

2)Sentry属于RBAC(基于角色访问控制)，Ranger是基于策略的授权访控制。

然而，Sentry和Ranger都需要管理预先给用户设定权限，对管理员的业务的认知能力水平有较高的要求，才能为每一个用户收于合适的权限。Sentry和Ranger均无法满足基于用户行为操作的自适应态授权的需求。

所以，需要建立一个能够实现根据用户行为授予不同用户对不同数据资源和信息的不同访问权限的Hadoop的访问控制方案。

发明内容

本发明旨在至少克服上述缺陷之一提供一种面向Hadoop的自适应权限控制方法及装置。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明的一个方面提供了一种面向Hadoop的自适应权限控制方法，包括：获取Hadoop各个组件上用户的日志信息，得到日志记录数据，其中，日志记录数据包括：平台日志信息和审计日志信息；根据日志记录数据进行日志记录数据分析，得到日志记录数据分析结果；根据日志记录数据分析结果生成用户权限调整建议，利用用户权限调整建议调整待调整用户的权限；将所述待调整用户的最新的权限写入到所述Hadoop的各个相应组件上。

其中，方法还包括：各个用户向Kerberos进行认证，并通过Kerberos的认证。

其中，利用用户权限调整建议调整待调整用户的权限之后，方法还包括：获得权限调整文本信息，将权限调整文本信息写入审计日志信息中。

其中，获取Hadoop各个组件上用户的日志信息，得到日志记录数据包括：通过ELK日志收集工具提取Hadoop平台中各个组件中的用户的平台日志信息和审计日志信息；利用SHELL脚本对Hadoop各个组件中用户权限进行批量提取。