[发明专利]敏感数据采集方法、装置及数据处理设备

说明书

本发明实施例提供的敏感数据采集方法、装置及数据处理设备，涉及数据库数据采集领域，所述方法包括：将全部数据库表均匀划分为至少两个子集合，并将子集合发送到各个异步子任务中；子集合中包括至少两个数据库表；异步子任务对子集合中的敏感数据进行采集，获得采集结果；待所有异步子任务采集完对应的子集合中的数据库表后，主线程汇聚异步子任务的采集结果，输出敏感数据信息。通过将数据库表均匀划分为多个子集合，再通过不同的异步子任务同时对子集合中的数据进行采集，减少了SQL语句执行时间，提升了数据库查询性能。

技术领域

本发明涉及数据库数据采集领域，具体而言，涉及一种敏感数据采集方法、装置及数据处理设备。

背景技术

通常发现数据库中的敏感数据包括如下步骤：先对敏感数据进行分类分级，定义敏感数据规则，配置敏感数据的发现规则及发现策略，然后通过程序连接目标数据库，按序采集每张表一定数量的随机数据，再根据策略库对采集到的数据进行规则模式匹配，分析敏感数据信息，最终形成敏感数据视图。上述实现了数据库的敏感数据查询，但是在性能上存在诸多缺点：数据库随机查询性能很差，在数据量较多的情况下，往往sql执行时间会很久；很多生产数据库表数量非常巨大，几万甚至几十万张表，按序采集和规则模式匹配性能较差，花费时间较长；生产数据库中会存在大量按年、月、日区分的表，表结构内容和数据模式一样，重复采集这些相同结构数据消耗大量资源。

发明内容

有鉴于此，本发明的目的在于提供一种敏感数据采集方法、装置及数据处理设备。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供一种敏感数据采集方法，应用于一数据处理设备，所述数据处理设备执行的主线程下包括至少两个异步子任务；所述方法包括：

将全部数据库表均匀划分为至少两个子集合，并将所述子集合发送到各个所述异步子任务中；所述子集合中包括至少两个所述数据库表；

所述异步子任务对所述子集合中的敏感数据进行采集，获得采集结果；

待所有所述异步子任务采集完对应的子集合中的所述数据库表后，所述主线程汇聚所述异步子任务的采集结果，输出敏感数据信息。

在可选的实施方式中，所述异步子任务对所述子集合中的敏感数据进行采集，获得采集结果的步骤，包括：

所述异步子任务对所述子集合中的数据库表的表名称、表结构进行采集；

判断表结构临时库中是否存在所述表结构对应的数据库表；所述表结构临时库用于临时存储被采集的所述数据库表；

若否，则将所述数据库表存入所述表结构临时库，并采集所述数据库表的表数据，获得采集结果；若是，则对所述子集合中的下一个数据库表进行所述表名称及所述表结构的采集。

在可选的实施方式中，采集所述数据库表的表数据，获得采集结果的步骤，包括：

从所述数据库表中随机抽取第一预定数量的表数据作为所述采集结果。

在可选的实施方式中，将数据库表均匀划分为至少两个子集合的步骤，包括：

获取数据库表的总数量和异步子任务的第一数量；

将所述数据库表均匀拆分成所述第一数量个所述子集合。

在可选的实施方式中，所述数据处理设备与目标数据库采用第二预定数量的数据源连接；所述目标数据库用于存储数据库表。

第二方面，本发明实施例提供一种敏感数据采集装置，应用于一数据处理设备，所述数据处理设备执行的主线程下包括至少两个异步子任务；所述敏感数据采集装置包括：