[发明专利]HDFS数据脱敏方法及装置

说明书

技术领域

本发明涉及数据处理领域，具体而言，涉及一种HDFS数据脱敏方法及装置。

背景技术

现有技术中，脱敏行业对于文本文件的脱敏，处理的主要是非分布式文件系统的脱敏，或对分布式文件系统上的文件采取非分布式的脱敏处理方法。对于分布式文件系统的海量文件脱敏，采用非分布式的脱敏处理方法，一般有两种方式来提高处理能力，第一种是在单台脱敏服务器上采用多线程并行处理的方式，第二种是通过将脱敏平台集群化，即将脱敏平台部署到多台服务器上，利用多台脱敏服务器来并行脱敏处理。第一种方式的处理效率提升空间不大，受限于单台服务器的处理能力，不能真正解决海量文件的高效脱敏。第二种方式能够在相当程度上解决海量数据文件脱敏的效率问题，但是对硬件资源要求较高，成本较大，也不是一个好的处理方式，所以本专利要解决的是找到这两种方式之外的既能高效的处理分布式文件系统的海量文件脱敏，又不需要使用更多的硬件资源的第三种方式。

针对现有技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种HDFS数据脱敏方法及装置，以至少解决现有技术中不能实现分布式脱敏的技术问题。

根据本发明的一个实施例，提供了一种HDFS数据脱敏方法，包括：针对不同类型的脱敏文件创建不同的脱敏配置；将所述脱敏文件通过映射规约MapReduce作业提交到Hadoop集群进行脱敏。

可选地，在将所述脱敏文件通过MapReduce作业提交到所述Hadoop集群进行脱敏之前，所述方法还包括：配置脱敏平台与所述Hadoop集群的交互环境。

可选地，配置脱敏平台与所述Hadoop集群的交互环境包括：将以下文件打成fat jar：所述脱敏平台的数据库配置信息、接口类配置文件，第三方jar包的内容及配置文件；通过所述脱敏平台将所述fat jar提交到所述Hadoop集群。

可选地，所述脱敏文件的文件类型包括以下至少之一：XML、json、固定分隔符文本、定长分隔文本、Avro文件。

可选地，将所述脱敏文件通过MapReduce作业提交到所述Hadoop集群进行脱敏包括：将所述脱敏文件以脱敏任务的形式通过MapReduce作业提交到所述Hadoop集群进行脱敏。

可选地，在将所述脱敏文件通过MapReduce作业提交到所述Hadoop集群进行脱敏时，所述方法还包括：在所述脱敏平台指定输入目录和输出目录。

可选地，在将所述脱敏文件通过MapReduce作业提交到所述Hadoop集群进行脱敏之后，所述方法还包括：在所述脱敏文件脱敏完成后，获取所述脱敏文件在输入时的文件名；根据所述文件名匹配脱敏后的所述脱敏文件，并输出。

根据本发明的另一个实施例，提供了一种HDFS数据脱敏装置，包括：创建模块，用于针对不同类型的脱敏文件创建不同的脱敏配置；提交模块，用于将所述脱敏文件通过映射规约MapReduce作业提交到Hadoop集群进行脱敏。

可选地，所述装置还包括：配置模块，用于在所述提交模块将所述脱敏文件通过MapReduce作业提交到所述Hadoop集群进行脱敏之前，配置脱敏平台与所述Hadoop集群的交互环境。

可选地，所述装置还包括：获取模块，用于在所述脱敏文件脱敏完成后，获取所述脱敏文件在输入时的文件名；匹配模块，用于根据所述文件名匹配脱敏后的所述脱敏文件，并输出。

根据本发明的又一个实施例，还提供了一种存储介质。该存储介质设置为存储用于执行以下步骤的程序代码：

针对不同类型的脱敏文件创建不同的脱敏配置；

将所述脱敏文件通过映射规约MapReduce作业提交到Hadoop集群进行脱敏。

通过本发明，针对不同类型的脱敏文件创建不同的脱敏配置；将所述脱敏文件通过映射规约MapReduce作业提交到Hadoop集群进行脱敏。实现了脱敏平台和Hadoop集群的统一，即可由脱敏平台直接提交MapReduce作业到Hadoop集群执行，由此实现了HDFS文件的分布式脱敏，解决了现有技术中不能实现分布式脱敏的技术问题，提高了脱敏效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的HDFS数据脱敏方法的流程图；

图2是根据本发明实施例的HDFS数据脱敏装置的结构框图；