[发明专利]一种对hadoop大数据平台集中安全管控系统及方法

说明书

本发明提供一种对hadoop大数据平台集中安全管控系统及方法，所述系统包括：安全管理平台，用于向客户端直接提供用户/用户组管理、访问管理、审计日志查询的功能服务；策略服务器，用于根据hadoop各组件的属性信息、操作权限信息、用户的授权关系信息预先抽象定义并形成功能服务列表；安全插件，用于获取策略服务器内所形成的功能服务列表，并根据所述功能服务列表确定访问对应hadoop组件执行安全管理平台所指定的功能服务；设置的审计日志，用于对hadoop各组件访问数据进行记录。本发明能够通过所述系统将Hadoop平台各组件分散的安全管理集中到一起，实现可视化访问策略授权及日志查看等。

技术领域

本发明涉及hadoop大数据技术领域，尤其涉及一种对hadoop大数据平台集中安全管控系统及方法。

背景技术

大数据时代已经到来，越来越多的行业面临着大量数据需要存储以及分析的挑战。Hadoop作为一个开源的分布式并行处理平台，以其高扩展、高效率、高可靠等优点，得到越来越广泛的应用。

一种对Hadoop大数据平台集中安全管控的方法可在整个Hadoop平台上启用监控和管理全面的数据安全性。随着Apache Yarn的出现，Hadoop平台现在可以支持真正的数据湖体系结构。在多租户环境中，企业可能会运行多个工作负载。Hadoop中的数据安全性需要不断发展以支持多种数据访问用例，同时还为安全策略的集中管理和用户访问监控提供了框架。它可以对Hadoop生态的组件如HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)、Yarn(Yet Another Resource Negotiator，另一种资源协调者)、Hive(数据仓库工具)、Hbase(Hadoop Database，分布式存储系统)等进行细粒度的数据访问控制。通过一种对Hadoop大数据平台集中安全管控的方法,管理员可以轻松的通过配置策略来控制用户访问权限。

Hadoop生态系统包括HDFS、HBase、Hive、Yarn、Strom、Kafka等多种组件，每种组件提供了各自的安全实现，这使得Hadoop平台安全管理功能分散、不易维护。

发明内容

本发明提供的对hadoop大数据平台集中安全管控系统及方法，能够通过所述系统将Hadoop平台各组件分散的安全管理集中到一起，实现可视化访问策略授权及日志查看等。

第一方面，本发明提供一种对hadoop大数据平台集中安全管控系统，包括：

安全管理平台，用于向客户端直接提供用户/用户组管理、访问管理、审计日志查询的功能服务；

策略服务器，用于根据hadoop各组件的属性信息、操作权限信息、用户的授权关系信息预先抽象定义并形成功能服务列表；

安全插件，一端与hadoop各组件连接的安全插件连接、另一端分别与策略服务器通信关联，并用于获取策略服务器内所形成的功能服务列表，并根据所述功能服务列表确定访问对应hadoop组件执行安全管理平台所指定的功能服务；

设置的审计日志，分别与安全管理平台、策略服务器以及安全插件连接，用于对hadoop各组件访问数据进行记录。

可选地，所述策略服务器包括：

抽象定义单元，用于将hadoop各组件的所有属性抽象定义为服务、将hadoop各组件的所有操作权限抽象定义为访问类型，将所定义的服务和用户的授权关系预先定义为策略；

服务列表单元，用于根据所定义的服务、访问类型、策略之间的对应关系形成功能服务列表。

可选地，所述策略服务器的功能服务列表与安全管理平台的功能服务相对应；

并且，所述功能服务列表或所述功能服务中的访问管理包括基于资源的策略、基于标签的策略、以及对已创建的所有授权策略经各种条件查询并将查询结果导出所形成的报告。