[发明专利]HDFS数据脱敏方法及装置

权利要求书

1.一种HDFS数据脱敏方法，其特征在于，包括：

针对不同类型的脱敏文件创建不同的脱敏配置；

将所述脱敏文件通过映射规约MapReduce作业提交到Hadoop集群进行脱敏。

2.根据权利要求1所述的方法，其特征在于，在将所述脱敏文件通过MapReduce作业提交到所述Hadoop集群进行脱敏之前，所述方法还包括：

配置脱敏平台与所述Hadoop集群的交互环境。

3.根据权利要求2所述的方法，其特征在于，配置脱敏平台与所述Hadoop集群的交互环境包括：

将以下文件打成fat jar：所述脱敏平台的数据库配置信息、接口类配置文件，第三方jar包的内容及配置文件；

通过所述脱敏平台将所述fat jar提交到所述Hadoop集群。

4.根据权利要求1所述的方法，其特征在于，所述脱敏文件的文件类型包括以下至少之一：XML、json、固定分隔符文本、定长分隔文本、Avro文件。

5.根据权利要求1所述的方法，其特征在于，将所述脱敏文件通过MapReduce作业提交到所述Hadoop集群进行脱敏包括：

将所述脱敏文件以脱敏任务的形式通过MapReduce作业提交到所述Hadoop集群进行脱敏。

6.根据权利要求1所述的方法，其特征在于，在将所述脱敏文件通过MapReduce作业提交到所述Hadoop集群进行脱敏时，所述方法还包括：

在所述脱敏平台指定输入目录和输出目录。

7.根据权利要求1所述的方法，其特征在于，在将所述脱敏文件通过MapReduce作业提交到所述Hadoop集群进行脱敏之后，所述方法还包括：

在所述脱敏文件脱敏完成后，获取所述脱敏文件在输入时的文件名；

根据所述文件名匹配脱敏后的所述脱敏文件，并输出。

8.一种HDFS数据脱敏装置，其特征在于，包括：

创建模块，用于针对不同类型的脱敏文件创建不同的脱敏配置；

提交模块，用于将所述脱敏文件通过映射规约MapReduce作业提交到Hadoop集群进行脱敏。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

配置模块，用于在所述提交模块将所述脱敏文件通过MapReduce作业提交到所述Hadoop集群进行脱敏之前，配置脱敏平台与所述Hadoop集群的交互环境。

10.根据权利要求8所述的装置，其特征在于，所述装置还包括：

获取模块，用于在所述脱敏文件脱敏完成后，获取所述脱敏文件在输入时的文件名；

匹配模块，用于根据所述文件名匹配脱敏后的所述脱敏文件，并输出。