[发明专利]基于kafka的数据审核方法、控制装置及计算机设备、存储介质

权利要求书

1.一种基于kafka的数据审核方法，其特征在于，包括：

获取待审核文档集信息，根据所述待审核文档集信息对待审核文档集进行文档数据量分析；

判断所述待审核文档集的文档数据量是否大于预设的瞬时传输阈值，若大于则在传输所述待审核文档集至基于kafka的文档解析系统时，对所述待审核文档集进行传输限定，所述传输限定的方式至少包括传输流量控制、文档集分组和时间区间控制中的一种；

使所述基于kafka的文档解析系统对接收的待审核文档集进行文档数据解析处理，生成审核数据集，对所述审核数据集中的审核数据进行分组，将分组的结果以队列形式保存，得到多个目标审核数据集；

基于审核端的数据获取请求发送所述目标审核数据集中的审核数据至审核端，使审核端基于预设算法对所述目标审核数据集进行数据审核操作，并在审核结束后输出数据审核结果。

2.根据权利要求1所述的基于kafka的数据审核方法，其特征在于，所述传输流量控制包括：

获取实时传输的文档数据的流量信息，判断实时传输的文档数据流量是否大于预设的瞬时传输阈值，若大于则对传输的文档数据进行部分缓存，并实时获取传输的文档数据的新的流量信息，直到实时传输的文档数据流量小于所述预设的瞬时传输阈值时，再获取缓存的文档数据进行传输。

3.根据权利要求1所述的基于kafka的数据审核方法，其特征在于，所述文档集分组包括基于预设的文档数据权重对所述待审核文档集进行分组，具体包括:

基于预设的文档数据权重等级表，获取所述待审核文档集中的文档数据的被审核概率值，将被审核概率值与设定阈值进行比较，根据比较结果对所述待审核文档集中的文档数据进行分组。

4.根据权利要求1所述的基于kafka的数据审核方法，其特征在于，所述时间区间控制包括在所述待审核文档集被传输至基于kafka的文档解析系统之前对待传输的文档数据进行传输分时限定，其中所述传输分时限定包括：

获取预设的时间闲置等级，若当前时间段的时间闲置等级符合设定的时间闲置阈值，改变所述瞬时传输阈值，以对待传输的文档数据进行传输分时限定。

5.根据权利要求1至4任一项所述的基于kafka的数据审核方法，其特征在于，所述方法还包括：

若待审核文档集的文档数据量不大于所述预设的瞬时传输阈值，则将待审核文档集中文档数据传入所述基于kafka的文档解析系统。

6.根据权利要求1至4任一项所述的基于kafka的数据审核方法，其特征在于，所述对所述审核数据集中的审核数据进行分组，将分组的结果以队列形式保存包括：

向kafka集群中每一台缓存代理服务器发送处理指令，使各所述缓存代理服务器将所述审核数据集作为待处理数据进行审核数据的拆分提取，形成与所述缓存代理服务器数量相同的子数据集，并将子数据集以队列形式同步存储到对应的所述缓存代理服务器上，此外，所述子数据集以队列形式同步存储于可存储于区块链中。

7.根据权利要求6所述的基于kafka的数据审核方法，其特征在于，在所述使审核端基于预设算法对所述目标审核数据集进行数据审核操作之前，所述方法还包括：

在传输所述目标审核数据集到审核端时，对所述目标审核数据集进行传输流量限制。