[发明专利]一种基于对hadoop安全配置的检测方法

权利要求书

1.一种基于对hadoop安全配置的检测方法，其特征在于，包括Hadoop输出端的检测、分布式NoSQL数据库的检测和网关服务器的检测；其中，

Hadoop输出端的检测按照下述步骤依次进行：

步骤1.1：为HDFS和HBase输出端设置安全的Flume代理通道，在KDC中设置Flume标识并生成keytab文件；

步骤1.2：建立Flume用户为Hadoop超级用户，建立用户组用于Flume模拟用户，允许模拟不同的源，把数据注入Hadoop，确保在数据摄入过程中一直遵守Hadoop中用户权限；

步骤1.3：采用安全配置程序进行设置，并对Flume模拟用户进行安全检查；

分布式NoSQL数据库的检测按照下述步骤依次进行：

步骤2.1：客户端联系ZooKeeper获取主键的位置，然后联系对应的RegionServer获取数据；

步骤2.2：RegionServer将请求转发给正确的Region，由Region来返回数据给客户端；

步骤2.3：检测步骤2.2中RegionServer与客户端数据传递过程的凭证和票据；

网关服务器的检测按照下述步骤依次进行:

步骤3.1：在网关服务器安装HttpFS，通过预先配置的Tomeat来运行；

步骤3.2：模拟一个HTTP代理对客户端进行认证，然后作为代理提供集群文件访问；

步骤3.3：检测步骤3.2中HTTP代理与客户端数据访问过程的Web应用运行情况。

2.根据权利要求1所述的一种基于对hadoop安全配置的检测方法，其特征在于，步骤1.1中Flume是Hadoop生态系统中一个分布式、可靠的近实时的数据采集系统，每个Flume源提供自己的认证和授权机制，可根据Flume源的类型进行预先的配置。

3.根据权利要求1所述的一种基于对hadoop安全配置的检测方法，其特征在于，步骤2.1中Zookeeper是分布式NoSQL数据库的协调服务，并存储相关信息，RegionServer是分布式NoSQL数据库的节点。

4.根据权利要求1所述的一种基于对hadoop安全配置的检测方法，其特征在于，步骤1.1中Flume代理通道是指内存通道、数据库通道和文件通道中的一种，数据库通道和文件通道都需要考虑数据安全，数据库通道采用标准的数据库安全机制支持认证和授权，在connection.properties文件中设置用户名密码，文件通道则将数据进行加密后存储，支持Java keystore。

5.根据权利要求1所述的一种基于对hadoop安全配置的检测方法，其特征在于，步骤2.2中RegionServer通过HBase守护进程与HDFS通信来存储数据。

6.根据权利要求1所述的一种基于对hadoop安全配置的检测方法，其特征在于，步骤3.1中HttpFS作为一个代理，使用WebHDFS访问集群资源，最大的局限是不能通过Http接口来传输大规模数据，HttpFS作为一个基于Tomcat的Web应用运行，当传输数据到集群时，数据需要通过该应用进行移动，采用原生的RPC来传输大规模数据。