[发明专利]大数据高效异同步解密处理方法、模块及系统

权利要求书

1.一种大数据高效异同步解密处理方法，其特征在于，包括：

S1、将数据同步推送至Kafka集群；

S2、使用Kafka消费端对相应Topic进行ETL处理；

S3、若同一LastUpDateTime对应数据条数小于等于设定的N条，则实时同步解密；

S4、若同一LastUpDateTime对应数据条数大于设定的N条的，则存临时库将数据直接保存至分布式数据库中数仓指定表，以保证数据高效处理而不被阻塞；

S5、设定定时任务，每时间间隔读取临时库中存放的待解密数据，每次读取设定的M条，并使用多线程并发机制进行解密，解密完成后保存至分布式数据库中数仓指定表；

S6、异步解密程序持续运行，以确保待解密数据均可完成业务解密需求。

2.根据权利要求1所述的一种大数据高效异同步解密处理方法，其特征在于，所述步骤S3及步骤S4中：所述设定的N条为1000条。

3.根据权利要求1所述的一种大数据高效异同步解密处理方法，其特征在于，所述步骤S5中：所述每时间间隔设定为每分钟。

4.根据权利要求1所述的一种大数据高效异同步解密处理方法，其特征在于，所述步骤S5中：所述设定的M条为5000条。

5.根据权利要求1所述的一种大数据高效异同步解密处理方法，其特征在于，所述步骤S2包括：

S2.1、先判断分析拉取数据的LastUpDateTime。

6.根据权利要求5所述的一种大数据高效异同步解密处理方法，其特征在于，在步骤S2.1之后还包括：

S2.2、对相同LastUpDateTime进行聚合计算。

7.一种大数据高效异同步解密处理模块，其特征在于，包括：

同步模块，用于将数据同步推送至Kafka集群；

ETL处理模块，用于使用Kafka消费端对相应Topic进行ETL处理；

判断模块，用于判断同一LastUpDateTime对应数据条数与设定的数值N条的大小；

定时模块，用于设定定时任务，每时间间隔读取临时库中存放的待解密数据；

同步解密模块，用于同步解密；

异步解密模块，用于异步解密。

8.根据权利要求7所述的一种大数据高效异同步解密处理模块，其特征在于：所述设定的数值N条为1000条。

9.一种大数据高效异同步解密处理系统，其特征在于，包括：

数据源，用于提供要解密的数据；

Kafka集群，用于对相应Topic进行ETL处理；

临时库，若同一LastUpDateTime对应数据条数大于设定的N条的，则将待解密数据存临时库；

分布式数据库，用于将解密完成后的数据保存至分布式数据库中。

10.根据权利要求9所述的一种大数据高效异同步解密处理系统，其特征在于：所述设定的N条为1000条。