[发明专利]一种基于对hadoop安全配置的检测方法

说明书

本发明涉及一种基于对hadoop安全配置的检测方法。包括Hadoop输出端的检测、分布式NoSQL数据库的检测和网管服务器的检测，其中，Hadoop输出端的检测，为HDFS和HBase输出端设置安全的Flume代理，在KDC中要设置Flume标识并生成keytab文件建立Flume用户需要为Hadoop超级用户，建立用户组用于Flume模拟用户，允许模拟不同的源，把数据注入Hadoop，确保在数据摄入过程中一直遵守Hadoop中用户权限采用安全配置程序进行设置并对Flume模拟用户其进行安全检查。本发明通过模拟用户端和数据传输的过程对Hadoop输出端、分布式NoSQL数据库和网管服务器的安全配置进行检测，提前避免了因系统的升级更新导致的漏洞。

技术领域

本发明属于大数据领域，具体涉及一种基于对hadoop安全配置的检测方法。

背景技术

Hadoop由多个组件组成，Sqoop用于实现RDBMS、NoSQL和Hadoop之间的结构化数据传输转换。Sqoop最初版本Sqoop1作为命令行客户端工具，基于结构化数据源元数据生成MapReduce代码。连接参数通过命令行进行设置，包含向Hadoop 提交MapReduce作业需要的密码信息等。在这个版本，没有安全的方式包含用户密码，都是通过明文传输。所以这个版本在生产环境中适用带来安全漏洞，因为用户密码作为明文存储在属性文件中，系统的每次更新配置都不能直接使用，需要对安全配置进行检测。

发明内容

本发明的目的在于提供一种基于对hadoop安全配置的检测方法，通过模拟用户端和数据传输的过程对Hadoop输出端、分布式NoSQL数据库和网管服务器的安全配置进行检测，提前避免了因系统的升级更新导致的漏洞。

为实现上述目的，本发明的技术方案是：一种基于对hadoop安全配置的检测方法，包括Hadoop输出端的检测、分布式NoSQL数据库的检测和网管服务器的检测；其中，

Hadoop输出端的检测按照下述步骤依次进行：

步骤1.1：为HDFS和HBase输出端设置安全的Flume代理通道，在KDC中要设置Flume标识并生成keytab文件；

步骤1.2：建立Flume用户需要为Hadoop超级用户，建立用户组用于Flume模拟用户，允许模拟不同的源，把数据注入Hadoop，确保在数据摄入过程中一直遵守Hadoop中用户权限；

步骤1.3：采用安全配置程序进行设置，并对Flume模拟用户进行安全检查；

分布式NoSQL数据库的检测按照下述步骤依次进行：

步骤2.1：客户端联系ZooKeeper获取主键的位置，然后联系对应的RegionServer获取数据；

步骤2.2：RegionServer将请求转发给正确的Region，由Region来返回数据给客户端；

步骤2.3：检测步骤2.2中RegionServer与客户端数据传递过程的凭证和票据；

网管服务器的检测按照下述步骤依次进行:

步骤3.1：在网关服务器安装HttpFS，通过预先配置的Tomeat来运行；

步骤3.2：模拟一个HTTP代理对客户端进行认证，然后作为代理提供集群文件访问；

步骤3.3：检测步骤3.2中HTTP代理与客户端数据访问过程的Web应用运行。

在本发明一实施例中，步骤1.1中Flume是Hadoop生态系统中一个布式、可靠的近实时的数据采集系统，每个Flume源提供自己的认证和授权机制，可根据Flume源的类型进行预先的配置。