[发明专利]大数据脱敏方法和系统

权利要求书

1.一种大数据脱敏方法，其特征在于，包括：

获取数据清洗任务，所述数据清洗任务包括待处理的数据资产；

获取所述数据资产相应的脱敏策略；

采用分布式数据处理方式对所述数据资产同时执行数据清洗操作和按照所述脱敏策略执行脱敏处理，包括：

在分布式数据处理过程中，调用映射规约任务模板，所述映射规约任务模板的映射阶段和规约阶段中的至少一个阶段中嵌入脱敏任务接口，其中：

在所述映射阶段嵌入映射脱敏任务接口的情况下，如果所述脱敏策略指示所述数据资产的第一脱敏字段采用第一脱敏算法、且所述第一脱敏算法使得脱敏前和脱敏后的数据结构一致，则每个子数据资产在被清洗后，其第一脱敏字段利用所述映射脱敏任务接口调用所述第一脱敏算法进行脱敏处理；或者，

在所述规约阶段嵌入规约脱敏任务接口的情况下，如果所述脱敏策略指示所述数据资产的第二脱敏字段采用第二脱敏算法、且所述第二脱敏算法使得脱敏前和脱敏后的数据结构不一致，则每个子数据资产在被清洗后，其第二脱敏字段利用所述规约脱敏任务接口调用所述第二脱敏策略进行脱敏处理。

2.根据权利要求1所述的方法，其特征在于，所述脱敏策略的脱敏算法包括信息摘要算法、截断算法、替换算法、数据加密标准算法。

3.一种大数据脱敏系统，其特征在于，包括：

脱敏策略单元，被配置为定义数据资产及其对应的脱敏策略；

含脱敏的数据清洗单元，被配置为

获取数据清洗任务，所述数据清洗任务包括待处理的数据资产；

基于所述脱敏策略单元的配置内容，获取所述数据资产相应的脱敏策略；

采用分布式数据处理方式对所述数据资产同时执行数据清洗操作和按照所述脱敏策略执行脱敏处理，包括：

在分布式数据处理过程中，调用映射规约任务模板，所述映射规约任务模板的映射阶段和规约阶段中的至少一个阶段中嵌入脱敏任务接口，其中：

在所述映射阶段嵌入映射脱敏任务接口的情况下，如果所述脱敏策略指示所述数据资产的第一脱敏字段采用第一脱敏算法、且所述第一脱敏算法使得脱敏前和脱敏后的数据结构一致，则每个子数据资产在被清洗后，其第一脱敏字段利用所述映射阶段嵌入的映射脱敏任务接口调用所述第一脱敏算法进行脱敏处理；或者，

在所述规约阶段嵌入规约脱敏任务接口的情况下，如果所述脱敏策略指示所述数据资产的第二脱敏字段采用第二脱敏算法、且所述第二脱敏算法使得脱敏前和脱敏后的数据结构不一致，则每个子数据资产在被清洗后，其第二脱敏字段利用所述规约阶段嵌入的规约脱敏任务接口调用所述第二脱敏策略进行脱敏处理。

4.一种大数据脱敏系统，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1-2中任一项所述的大数据脱敏方法。

5.一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-2中任一项所述的大数据脱敏方法的步骤。