[发明专利]基于ApacheRanger对Hadoop集群数据的保护装置及保护方法

说明书

技术领域

本发明涉及数据安全防护领域，具体涉及基于Apache Ranger对Hadoop集群数据的保护装置及保护方法。

背景技术

随着信息技术的不断发展，数据已经成为驱动行业发展的重要因素。在现有数据处理领域中，Hadoop集群在大规模的数据存储和处理上具有低成本的优势，从而在现代的数据体系结构中扮演了重要角色。大量的数据从不同的数据源汇入到Hadoop集群中，这些汇集的数据构成了数据湖。

然而大量不同数据源汇集形成的数据湖在数据保护上相比于传统单一数据源的保护存在较大区别，传统针对单一或零碎的保护对数据湖来说存在效率低下的技术缺陷，而数据湖的安全需要使用到多种不的安全策略及技术手段，因此如何采用综合性的安全策略保护数据湖就成了迫切的需求。

发明内容

本发明就是针对现有技术的不足，提出的基于Apache Ranger对Hadoop集群数据的保护装置及保护方法，该方法实现了数据湖安全管理的高效性及安全性，解决了传统技术存在效率低，安全性不高的技术缺陷。

本发明所述的一种基于Apache Ranger对Hadoop集群数据的保护装置包括大数据分析支撑平台、Apache Ranger API、Apache Ranger审计服务端、Apache Ranger策略服务端及Apache Ranger插件；

所述大数据分析支撑平台主要为用户提供集中安全管理用户界面，且用于定义和管理访问Hadoop集群安全策略的Apache Ranger策略服务端；

所述Apache Ranger API主要为Apache Ranger审计服务端、Apache Ranger策略服务端及Apache Ranger插件提供统一调用大数据分析支撑平台端口；

所述Apache Ranger审计服务端主要为Hadoop集群提供审计服务；

所述Apache Ranger策略服务端主要以大数据分析支撑平台为基础，对Hadoop集群提供策略安全设定服务；

所述Apache Ranger插件主要拦截用户请求并且使用Apache Ranger策略服务端的安全策略对用户请求进行访问控制，同时，Apache Ranger插件从用户请求中收集数据，然后使用一个独立的线程把审计数据传回Apache Ranger审计服务端。

进一步的，所述Ranger插件被内嵌到Hadoop集群组件的进程中。

进一步的，所述Apache Ranger审计服务端及Apache Ranger策略服务端位于同一服务器上或分别位于不同的服务器上。

一种基于Apache Ranger对Hadoop集群数据的保护方法，包括：

利用Apache Ranger安全框架通过预设的安全策略进行用户服务访问请求控制和安全审计；

大数据分析支撑平台通过预设的统一调用端口对Apache Ranger安全策略及审计状况进行统一管理。

进一步的，所述统一调用端口为Apache Ranger API，Apache Ranger API主要实现大数据分析支撑平台与Apache Ranger安全框架的数据互通。

进一步的，所述安全策略是大数据分析支撑平台利用Apache Ranger API在Apache Ranger策略服务端中预设Hadoop集群的安全访问策略。

进一步的，所述用户服务访问请求控制是利用内嵌在Hadoop集群组件上的Apache Ranger插件拦截用户访问请求的同时根据Apache Ranger策略服务端中的安全访问策略进行相应的访问控制。

进一步的，所述安全审计是Apache Ranger插件从用户请求中收集数据并使用一个独立的线程把审计数据传回Apache Ranger审计服务端以便审计。

进一步的，利用统一的数据调用端口Apache Ranger API，将Apache Ranger审计服务端及Apache Ranger策略服务端集成至大数据分析支撑平台。

进一步的，Apache Ranger策略服务端中预设Hadoop集群的安全访问策略被同步至本地文件。

进一步的，用户服务访问请求将被Apache Ranger插件拦截并通过缓存在本地的策略文件进行访问控制。