[发明专利]大数据高效异同步解密处理方法、模块及系统

说明书

本发明公开了一种大数据高效异同步解密处理方法、模块及系统，包括：将数据同步推送至Kafka集群；使用Kafka消费端对相应Topic进行ETL处理；若同一LastUpDateTime对应数据条数小于等于设定的N条，则实时同步解密；若同一LastUpDateTime对应数据条数大于设定的N条的，则存临时库将数据直接保存至分布式数据库中数仓指定表；设定定时任务，每时间间隔读取临时库中存放的待解密数据，解密完成后保存至分布式数据库中数仓指定表；异步解密程序持续运行，以确保待解密数据均可完成业务解密需求。此种大数据高效异同步解密处理方法、模块及系统根据业务特点同时兼容同步与异步解密方式，满足大吞吐量性能要求；解决性能瓶颈，增加容错机制，能满足大批量事务解密需求。

技术领域

本发明涉及大数据解密领域，特别涉及一种大数据高效异同步解密处理方法、模块及系统。

背景技术

数据安全对企业生存发展有着举足轻重的影响，数据资产的外泄、破坏都会导致企业无可挽回的经济损失和核心竞争力缺失，而往往绝大多数中小企业侧重的是业务的快速发展，忽略了数据安全重要性。数据安全控制一直是数据治理的重要环节，数据脱敏属于数据安全控制的范畴。对互联网公司、传统行业来说，数据安全一直是极为重视和敏感的话题。数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。涉及客户安全数据或者一些商业性敏感数据，如身份证号、手机号、卡号、客户号等个人信息按照监管部门规定，都需要进行数据脱敏。在真实业务场景中，开发人员在业务系统中根据监管及数据安全需求，均维护一套加解密系统，对于业务数据根据不同的特点采用不同加解密方法保存数据。

而企业在实际运行中，部分场景需要未加密的全明文场景，如监管取数需求、报送人行相关信息；部分场景需要已加密字段解密后做数据分析；部分场景中，如商户需下载对账单等信息数据，交易库中保存的信息均为脱敏信息。应对类似举例场景中大批量数据时，若采用临时实时解密的方式，明显存在严重性能瓶颈，无法短时间内响应大量需求。

发明内容

为了克服现有技术的不足，本发明提供一种大数据高效异同步解密处理方法、模块及系统。

本发明解决其技术问题所采用的技术方案是：

一种大数据高效异同步解密处理方法，包括：

S1、将数据同步推送至Kafka集群；

S2、使用Kafka消费端对相应Topic进行ETL处理；

S3、若同一LastUpDateTime对应数据条数小于等于设定的N条，则实时同步解密；

S4、若同一LastUpDateTime对应数据条数大于设定的N条的，则存临时库将数据直接保存至分布式数据库中数仓指定表，以保证数据高效处理而不被阻塞；

S5、设定定时任务，每时间间隔读取临时库中存放的待解密数据，每次读取设定的M条，并使用多线程并发机制进行解密，解密完成后保存至分布式数据库中数仓指定表；

S6、异步解密程序持续运行，以确保待解密数据均可完成业务解密需求。

进一步地，所述步骤S3及步骤S4中：所述设定的N条为1000条。

进一步地，所述步骤S5中：所述每时间间隔设定为每分钟。

进一步地，所述步骤S5中：所述设定的M条为5000条。

进一步地，所述步骤S2包括：

S2.1、先判断分析拉取数据的LastUpDateTime。

进一步地，在步骤S2.1之后还包括：

S2.2、对相同LastUpDateTime进行聚合计算。