[发明专利]一种基于大数据环境下的静态数据加解密方法

说明书

技术领域

本发明涉及大数据、数据安全传输等技术领域，具体的说，是一种基于大数据环境下的静态数据加解密方法。

背景技术

传统的大数据静态数据加解密实现中，加解密服务器部署加解密server(Java语言)，负责与各大数据节点加解密client(Java语言)进行交互。加解密server(Java语言)通过jni接口访问底层加密卡进行通信(C语言)，从而实现加解密功能。

各大数据节点调用预先配置的加解密服务器集群中指定的加解密服务器进行数据加解密。如图1所示：

NameNode(主节点)与加解密服务器0、DataNode(数据节点)0与加解密服务器1、DataNode(数据节点)1与加解密服务器2、DataNode(数据节点)2与加解密服务器3是一一对应关系。

现以DataNode0(数据节点0)加解密操作为例：

DataNode0(数据节点0)读取数据操作时，调用加解密服务器1进行数据解密(Step2-2获取加解密策略)。

如果加解密服务器1出现故障，DataNode0(数据节点0)则调用备用的加解密服务器2进行数据解密(Step2-3获取备用加解密策略)。

如果加解服务器2出现故障，DataNode0(数据节点0)则调用备用的加解服务器3进行数据解密(Step2-4获取备用加解密策略)。

但现有大数据静态数据加解密实现时，存在如下问题：

加解密服务器集群结构复杂、兼容性差。加解密服务器中，通过Javajni接口实现对底层加密卡C接口调用，耦合性过强，绑定了大数据平台与加密卡厂商，从而导致问题定位复杂。基于Java实现的加解密服务器server，不便于与外部接口进行调用，兼容性差。

加解密服务器集群效率低。各数据节点业务压力存在差异，数据节点与加解密服务器一一对应的简单逻辑设计，导致各加解密服务器负载差异，影响了大数据平台的整体加解密效率。

加解密服务器集群可靠性低。若加解密服务器单点故障，导致单个加解密服务器承担两个甚至多个大数据平台数据节点的加解密业务，从而加剧了加解密服务器负载差异，严重地影响了大数据平台的整体加解密效率。单个加解密服务器承载压力过大，将导致上层业务延时过高从而误判数据加解密失败。

发明内容

本发明的目的在于设计出一种基于大数据环境下的静态数据加解密方法，在大数据节点进行静态数据加解密时，通过加解密策略模块实现大数据节点的加解密任务的最优分配，有效地解决了大数据节点静态数据加解密负载不均衡的问题，并提升静态数据的加解密可靠性和效率。

本发明通过下述技术方案实现：一种基于大数据环境下的静态数据加解密方法，在大数据环境下，采用加解密均衡策略与备份加解密均衡策略相结合的方式，通过对服务器的资源进行数学建模，计算各服务器的处理能力，而后利用贪心算法对数学建模结果进行分析，选择最优的服务器进行加解密操作；所述服务器包括加解密服务器和/或备份加解密服务器；所述加解密服务器的加解密策略模块内设置有初始化模块、能力计算模块、任务分配模块和备份模块，所述备份加解密服务器的加解密策略模块内设置有初始化模块、能力计算模块及任务分配模块。

进一步的为更好的实现本发明，特别采用下述设置方式：包括以下具体步骤：

(1)初始化：在加解密服务器中，初始化模块初始化加解密任务的工作队列，虚拟所有加解密服务器的计算能力，并对所有加解密服务器的加解密功能进行初始化；

(2)经步骤(1)后，在加解密服务器中，能力计算模块通过加解密能力计算公式对所有加解密服务器的资源按照权重进行计算，从而计算出各加解密服务器的计算能力；

(3)经步骤(2)后，在大数据环境下，通过贪心算法，选择计算能力最优的加解密服务器，而后在加解密服务器中，任务分配模块将大数据节点的加解密任务依次放入到工作队列中；

(4)经步骤(3)后，持续循环步骤(2)和(3)。

进一步的为更好的实现本发明，特别采用下述设置方式：所述对所有加解密服务器的加解密功能进行初始化具体为：

(1-1)依据加解密服务器的计算能力，设计加解密任务的最大数量和加解密服务器的最大数量；

(1-2)经步骤(1-1)后，将相关初始化配置信息，由备份模块备份到备份加解密服务器；所述相关初始化配置信息包括初始化加解密任务的最大数量、加解密任务的最大数量、当前可处理的加解密任务数、当前可用的加密服务器数量、加解密策略模块所在的加密服务器。