[发明专利]一种基于公钥算法和SSL协议的多集群Hadoop系统安全优化方法

说明书

本发明提供一种基于公钥算法和SSL协议的多集群Hadoop系统安全优化方法，包括以下步骤：用户登录主节点时对用户进行身份信息认证；主节点向CA服务器申请并获得代理证书；主节点创建从节点列表，并确定主节点身份信息；主节点与从节点之间进行双向身份认证；多集群Hadoop系统执行用户提交的作业；终止用户提交的作业。本发明能够有效地实现跨越多个集群环境运行的Hadoop系统的用户身份认证和网络攻击防护，弥补了单集群Hadoop系统原有安全机制运行于多个集群环境时的不足之处，与单集群Hadoop系统原有安全防护机制共同构成了多集群Hadoop系统的完整安全防护。

技术领域

本发明涉及一种优化方法，具体涉及一种基于公钥算法和SSL协议的多集群Hadoop系统安全优化方法。

背景技术

Hadoop系统是大数据处理的一个有效工具。早期的Hadoop系统主要运行于单个集群环境，后来的版本开始支持运行于多个集群环境。多集群Hadoop系统是一种跨越多个集群环境运行的扩展版本，如图1所示。JobTracker是MapReduce框架的主服务器，负责管理MapReduce框架执行作业的控制流、监控所有执行中任务的健康状态、检测并重新调度失效的任务直到一个作业的所有任务完成。JobTracker从它的用户侧接收新的作业，然后把作业划分为更小的任务并发送给TaskTracker。TaskTracker是JobTracker的动力引擎。每个TaskTracker都有一个特定的计数槽，来表示其被分配的任务数。TaskTracker通过一个心跳消息定期向JobTracker报告健康状态，这个心跳消息包含所有执行中任务的当前进度和TaskTracker的可用数目。作为回应，JobTracker发送新的指令到TaskTracker，这些指令包括新分配的任务和需执行的任务。TaskTracker的职责是监控执行中任务的健康状态、管理自己的日志文件、检测失效的任务并向JobTracker报告相应信息。

总体而言，多集群Hadoop系统维持了早期Hadoop系统的主节点/从节点架构，很好地实现了MapReduce框架。其中，主节点是多集群Hadoop系统架构的中心实体，主要负责管理所有可用文件的元数据和接收用户提交的作业，将作业划分为更小的多个任务，并最终分配任务到从节点，而从节点主要负责执行主节点所分配的任务。

在安全防护机制方面，单集群Hadoop系统原有的用户身份认证和作业提交机制主要是为运行于单个集群环境设计的，没有考虑到运行于多个集群环境的情况。这些机制要求每个用户与每个集群之间建立一个单独连接，因此并不适合诸如网格这样包含多个集群的大规模分布式环境。此外，当将单集群Hadoop系统运行于多个集群环境时，其安全防护机制还暴露出了其它许多不足之处，包括众多从节点的用户重复登录和身份认证、系统资源的滥用和误用、计算节点难以动态调整、网络攻击防护不力等问题。例如，在单集群Hadoop系统的安全机制中，要求一个用户必须登录所有集群一次以完成身份认证，才能访问所有集群的资源。这对用户来说，是一种繁琐乏味和降低效率的事情。因此，需要有一种更为通用的整体解决方案来弥补单集群Hadoop系统安全机制的不足并减少用户的操作负担。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于公钥算法和SSL协议的多集群Hadoop系统安全优化方法，能够有效地实现跨越多个集群环境运行的Hadoop系统的用户身份认证和网络攻击防护，弥补了单集群Hadoop系统原有安全机制运行于多个集群环境时的不足之处，与单集群Hadoop系统原有安全防护机制共同构成了多集群Hadoop系统的完整安全防护。

为了实现上述发明目的，本发明采取如下技术方案：

本发明提供一种基于公钥算法和SSL协议的多集群Hadoop系统安全优化方法，所述方法包括以下步骤：

步骤1：用户登录主节点时对用户进行身份信息认证；

步骤2：主节点向CA服务器申请并获得代理证书；