[发明专利]一种hadoop平台安全接口的实现方法

摘要

本发明涉及一种hadoop平台安全接口的实现方法,所述的方法是是将hadoop大数据平台相关组件与客户端进行隔离，客户端与hadoop大数据平台相关组件通信需通过安全接口代理进行，接口提供进行认证、授权和审计功能，接口提供jdbc标准;在网络上，hadoop大数据平台相关组件和客户端位于不同网络，通过网络防火墙或者隔离设备进行隔离;安全接口位于二者中间，为客户端访问提供数据代理和安全认证、授权和审计功能。

主权项

1.一种hadoop平台安全接口的实现方法, 其特征在于, 所述的方法是将hadoop大数据平台相关组件与客户端进行隔离，客户端与hadoop大数据平台相关组件通信需通过安全接口代理进行，接口提供进行认证、授权和审计功能，接口提供jdbc标准;在网络上，hadoop大数据平台相关组件和客户端位于不同网络，通过网络防火墙或者隔离设备进行隔离;安全接口位于二者中间，为客户端访问提供数据代理和安全认证、授权和审计功能;安全接口由master节点slave节点和平台权限管理模块、数据缓存模块四个部分组成;master节点和slave节点均根据需求弹性扩展;Master节点根据自有算法选举主服务器对外提供服务;主服务器一旦下线，则重新触发选举，选举过程中阻塞，只有主服务器选举完成，才会执行其他任务; Master节点通过轮询、hash、最低资源占用、响应最快、最低负载等负载均衡算法得出客户端要连接的slave节点，反馈给客户端;Slave节点各自独立，上线时会自动将节点服务器信息注册到master节点，下线时会自动更新master节点上的服务器状态;Master节点定时向slave节点进行，将状态和负荷信息写入后台数据库;心跳时间可自定义调整，一般可在10毫秒~10秒之间调整;一旦健康监测异常状态达到设定的阈值，则将slave节点状态置为下线，直到slave节点再次向master节点更新服务器状态;Slave节点与平台权限管理模块通信，获得用户的认证信息以及权限信息，向hadoop大数据平台相关组件获取数据反馈给客户端，并建立相关的通信。平台权限管理模块将权限信息存储在权限信息缓存和权限信息持久化中，权限信息缓存和权限信息持久化之间进行数据同步;平台权限管理模块从权限信息缓存中获取数据;权限信息缓存的存储方式包括但不限于memcached、redis等NOSQL内存数据库，权限信息持久化的存储方式可以是磁盘文件或者关系型数据库;模块将认证请求和访问日志存储到数据库，用于进行认证和授权的审计;一旦某个salve节点故障，客户端可重新向master申请一个新的连接，获取新的可用slave节点;缓存模块提供数据缓存功能，当Slave节点需要获取数据是，先向缓存模块提交数据操作，如果缓存模块命中数据，则直接返回数据，如果未命中缓存，则向hadoop组件提交数据;客户端与接口之间提供jdbc标准并支持采用非对称密钥加密通信方式，保证数据完整性;具体步骤：201、客户端向安全接口master节点请求访问数据存储，master节点检索slave节点的健康状态和负荷信息;202、master节点根据负载均衡算法返回给客户端可用的slave节点连接信息;203、客户端根据master节点返回的slave节点的连接信息，使用加密通道连接slave节点;204、slave节点向平台权限管理模块请求查询权限信息，平台权限管理模块通过其存储的权限信息数据中进行检索;205、平台权限管理模块将从权限信息数据中检索到的数据向slave节点返回权限信息，如果未检索到相应的权限数据，将返回无权操作的标志;206、slave根据平台权限管理模块返回的权限信息判断权限，并向缓存模块提交数据操作，如果缓存模块命中数据，则直接返回数据，如果未命中缓存，则向hadoop组件提交数据;207、 hadoop大数据平台相关组件执行操作，向slave节点返回结果集或操作成功或者操作失败的标识;208、slave节点向客户端返回结果集或或操作成功或者操作失败的标识。