[发明专利]分布式应用集群及数据脱敏方法

权利要求书

1.一种分布式应用集群，其特征在于，包括：

第一应用终端及多个第二应用终端；

第一应用终端，用于将每个待脱敏数据表的表名写入消息队列中；

第二应用终端，用于基于批处理框架的远程分区，监听消息队列中每个待脱敏数据表的表名；

第二应用终端，还用于根据监听到的待脱敏数据表的表名对应的待脱敏数据表的数据量，基于批处理框架的本地分区，对待脱敏数据表的数据进行分块得到多个数据块；

第二应用终端，还用于按照预先配置的数据脱敏规则，利用多个并发线程对待脱敏数据表的多个数据块进行脱敏处理，确定待脱敏数据表的脱敏结果。

2.一种数据脱敏方法，其特征在于，应用于如权利要求1所述的分布式应用集群中，包括：

第一应用终端将每个待脱敏数据表的表名写入消息队列中；

多个第二应用终端基于批处理框架的远程分区，监听消息队列中每个待脱敏数据表的表名；

每个第二应用终端根据监听到的待脱敏数据表的表名对应的待脱敏数据表的数据量，基于批处理框架的本地分区，对待脱敏数据表的数据进行分块得到多个数据块；

每个第二应用终端按照预先配置的数据脱敏规则，利用多个并发线程对待脱敏数据表的多个数据块进行脱敏处理，确定待脱敏数据表的脱敏结果。

3.如权利要求2所述的数据脱敏方法，其特征在于，还包括：

第一应用终端将数据表的表名缓存至表名列表中；

第一应用终端将表名列表中包含脱敏标识的数据库表的表名确定为待脱敏数据表的表名。

4.如权利要求2所述的数据脱敏方法，其特征在于，每个第二应用终端根据监听到的待脱敏数据表的表名对应的待脱敏数据表的数据量，基于批处理框架的本地分区，对待脱敏数据表的数据进行分块得到多个数据块，包括：

每个第二应用终端根据监听到的待脱敏数据表的表名，从数据库表集合中确定对应的待脱敏数据表；

每个第二应用终端根据预先配置的并发度及待脱敏数据表的数据量，基于批处理框架的本地分区，对待脱敏数据表的数据进行分块得到多个数据块。

5.如权利要求2所述的数据脱敏方法，其特征在于，每个第二应用终端按照预先配置的数据脱敏规则，利用多个并发线程对待脱敏数据表的多个数据块进行脱敏处理，确定待脱敏数据表的脱敏结果，包括：

每个第二应用终端按照预先配置的数据脱敏规则，利用多个并发线程对待脱敏数据表的多个数据块进行脱敏处理，确定待脱敏数据表每个数据块的脱敏结果；

每个第二应用终端将待脱敏数据表每个数据块的脱敏结果进行合并，确定待脱敏数据表的脱敏结果。

6.如权利要求5所述的数据脱敏方法，其特征在于，每个第二应用终端按照预先配置的数据脱敏规则，利用多个并发线程对待脱敏数据表的多个数据块进行脱敏处理，确定待脱敏数据表每个数据块的脱敏结果，包括：

每个第二应用终端的每个线程根据数据块中每个数据的数据信息类别，从预先配置的数据脱敏规则中确定每个不同数据信息类别对应的数据脱敏规则；

每个第二应用终端的每个线程根据数据块中每个不同数据信息类别对应的数据脱敏规则对每个数据进行脱敏处理，确定待脱敏数据表每个数据块的脱敏结果。

7.如权利要求4所述的数据脱敏方法，其特征在于，还包括：

根据接收到的并发度配置指令配置每个第二应用终端的并发度。

8.如权利要求2所述的数据脱敏方法，其特征在于，还包括：

根据接收到的脱敏规则配置指令配置不同数据信息类别对应的数据脱敏规则。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求2至8任一所述数据脱敏方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求2至8任一所述数据脱敏方法的计算机程序。