[发明专利]分布式应用集群及数据脱敏方法

说明书

本发明公开了一种分布式应用集群及数据脱敏方法，该数据脱敏方法包括：第一应用终端将每个待脱敏数据表的表名写入消息队列中；多个第二应用终端基于批处理框架的远程分区，监听消息队列中每个待脱敏数据表的表名；每个第二应用终端根据监听到的待脱敏数据表的表名对应的待脱敏数据表的数据量，基于批处理框架的本地分区，对待脱敏数据表的数据进行分块得到多个数据块；每个第二应用终端按照预先配置的数据脱敏规则，利用多个并发线程对待脱敏数据表的多个数据块进行脱敏处理，确定待脱敏数据表的脱敏结果。本发明提出远程分发与本地分发相结合的、可拓展的分布式应用集群进行数据脱敏，从横向和纵向提升数据脱敏的效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及分布式应用集群及数据脱敏方法。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

对于部分业务系统来说，其业务数据属于高度敏感、涉密的数据，在进行使用或者测试时需要进行脱敏处理。例如金融交易系统，或者人脸识别系统，又或者指纹识别系统等。然而，对于数据量巨大或者业务量巨大的系统来说，脱敏处理耗时较长，数据脱敏的并发能力差、效率低。

因此，现有的数据脱敏存在脱敏处理效率低的问题。

发明内容

本发明实施例提供一种分布式应用集群，用以提高数据脱敏的效率，该数据脱敏系统包括：

第一应用终端及多个第二应用终端；

第一应用终端，用于将每个待脱敏数据表的表名写入消息队列中；

第二应用终端，用于基于批处理框架的远程分区，监听消息队列中每个待脱敏数据表的表名；

第二应用终端，还用于根据监听到的待脱敏数据表的表名对应的待脱敏数据表的数据量，基于批处理框架的本地分区，对待脱敏数据表的数据进行分块得到多个数据块；

第二应用终端，还用于按照预先配置的数据脱敏规则，利用多个并发线程对待脱敏数据表的多个数据块进行脱敏处理，确定待脱敏数据表的脱敏结果。

本发明实施例还提供一种数据脱敏方法，用以提高数据脱敏的效率，该数据脱敏方法包括：

第一应用终端将每个待脱敏数据表的表名写入消息队列中；

多个第二应用终端基于批处理框架的远程分区，监听消息队列中每个待脱敏数据表的表名；

每个第二应用终端根据监听到的待脱敏数据表的表名对应的待脱敏数据表的数据量，基于批处理框架的本地分区，对待脱敏数据表的数据进行分块得到多个数据块；

每个第二应用终端按照预先配置的数据脱敏规则，利用多个并发线程对待脱敏数据表的多个数据块进行脱敏处理，确定待脱敏数据表的脱敏结果。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据脱敏方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述数据脱敏方法的计算机程序。

本发明实施例中，分布式应用集群中的多个第二应用终端基于批处理框架的远程分区，监听消息队列中每个待脱敏数据表的表名，提升数据脱敏的处理效率；同时，每个第二应用终端根据监听到的待脱敏数据表的表名对应的待脱敏数据表的数据量，基于批处理框架的本地分区，对待脱敏数据表的数据进行分块得到多个数据块，利用多个并发线程对待脱敏数据表的多个数据块进行脱敏处理，提升第二应用终端的并发处理效率，即本发明实施例提出远程分发与本地分发相结合的、可拓展的分布式应用集群进行数据脱敏，从横向和纵向提升数据脱敏的效率。

附图说明