[发明专利]一种hadoop平台安全接口的实现方法

说明书

本发明涉及一种hadoop平台安全接口的实现方法,所述的方法是是将hadoop大数据平台相关组件与客户端进行隔离，客户端与hadoop大数据平台相关组件通信需通过安全接口代理进行，接口提供进行认证、授权和审计功能，接口提供jdbc标准;在网络上，hadoop大数据平台相关组件和客户端位于不同网络，通过网络防火墙或者隔离设备进行隔离;安全接口位于二者中间，为客户端访问提供数据代理和安全认证、授权和审计功能。

技术领域

本发明涉及一种hadoop平台安全接口的实现方法。

背景技术

随着近年来信息系统的快速稳定发展的需要，国内应用和研究Hadoop大数据平台的企业也越来越多，包括淘宝、百度、腾讯、网易、金山等，很多科研院所也投入到Hadoop大数据平台的应用和研究中，包括中科院、清华大学、浙江大学和华中科技大学等。当前大一点的公司都采用了共享Hadoop集群的模式，这种模式可以减小维护成本，且避免数据过度冗余，增加硬件成本。共享Hadoop是指：（1）管理员把研发人员分成若干个队列，每个队列分配一定量的资源，每个用户或者用户组只能使用某个队列中得资源；（2）HDFS上存有各种数据，有公用的，有机密的，不同的用户可以访问不同的数据。共享集群类似于云计算或者云存储，面临的一个最大问题是安全。

Hadoop的安全问题主要表现在以下几个方面：用户只要知道某个block的blockID，便可以绕过namenode直接从datanode上读取该block；用户可以向任意datanode上写block。在没有开启安全认证或者开启简单认证的情况下，某个用户如果可以控制提交作业的那台client机器，只需要进行简单的声明，就可以以任何身份提交作业，进而偷偷使用原本属于别人的资源。

比如：在程序中使用以下代码：

conf.set(“user.name”, root);

conf.ser(“group.name”, root);

便可以以root身份提交作业。

另外用户可以修改或者杀掉任意其他用户的作业；用户可以修改JobTracker的持久化状态。

如果开启基于Kerberos的管理模式，可能会在Hadoop之上使用Oozie，HBase，Cassandra等开源软件，为此，需要在这几个软件的配置文件和Hadoop配置文件中添加权限。任何一个权限变更都需要进行大量的配置修改。

因此亟需一个管理方便的hadoop平台安全接口。

发明内容

本发明提供一种hadoop的安全平台接口实现方法，本发明所采用的技术方案是：

所述的方法是是将hadoop大数据平台相关组件与客户端进行隔离，客户端与hadoop大数据平台相关组件通信需通过安全接口代理进行，接口提供进行认证、授权和审计功能，接口提供jdbc标准;在网络上，hadoop大数据平台相关组件和客户端位于不同网络，通过网络防火墙或者隔离设备进行隔离;安全接口位于二者中间，为客户端访问提供数据代理和安全认证、授权和审计功能;

安全接口由master节点slave节点和平台权限管理模块、数据缓存模块四个部分组成;

master节点和slave节点均根据需求弹性扩展;Master节点根据自有算法选举主服务器对外提供服务;主服务器一旦下线，则重新触发选举，选举过程中阻塞，只有主服务器选举完成，才会执行其他任务; Master节点通过轮询、hash、最低资源占用、响应最快、最低负载等负载均衡算法得出客户端要连接的slave节点，反馈给客户端;