[发明专利]数据处理方法、装置、介质及电子设备

权利要求书

1.一种数据处理方法，其特征在于，该方法包括：

获取线程池中每个线程的数据集；

根据所述每个线程的业务逻辑对所述每个线程的数据集进行处理；

当处理结果显示所述数据集中存在数据异常时，按照预设规则对所述数据集进行拆分处理，得到所述数据集的异常数据，并对所述异常数据进行标注，所述预设规则包括金字塔原则；

按照预设的数据库操作类型将处理后的数据集的数据分别添加到相应的队列；

其中，当处理结果显示所述数据集中存在数据异常时，按照预设规则对所述数据集进行拆分处理，得到所述数据集的异常数据包括：

当处理结果显示所述数据集中存在数据异常时，按照预设规则对所述数据集进行拆分，得到所述数据集的子数据集；

根据所述每个线程的业务逻辑对所述数据集的每个子数据集进行处理；

循环执行上述两个步骤直到定位到所述数据集的异常数据为止；

该方法还包括：

按照业务类型对所述线程池中的每个线程进行分类，以确保所述线程池中的多个线程之间在处理数据时相互独立；

其中，所述获取线程池中每个线程的数据集包括：

在多线程控制层分发线程时，判断所述线程池中是否存在与即将执行处理任务的线程类型相同的线程；

如果存在，且该线程处于运行状态时，按照预设时长校验该线程已处理数据量的变化；

根据校验结果，确定所述即将执行处理任务的线程的数据集。

2.根据权利要求1所述的方法，其特征在于，在获取线程池中每个线程的数据集之前，该方法还包括：

判断所述线程池中线程的数量是否大于预设阈值；

如果大于，则停止向所述线程池内添加新的线程。

3.根据权利要求1所述的方法，其特征在于，在按照预设的数据库操作类型将处理后的数据集的数据分别添加到相应的队列之前，该方法还包括：

判断所述队列中的数据量是否满足批量提交的条件；

如果满足，则将所述队列的数据存储到关系型数据库。

4.根据权利要求1所述的方法，其特征在于，在根据所述每个线程的业务逻辑对所述每个线程的数据集进行处理之后，该方法还包括：

利用回调函数获取所述线程池中每个线程的处理结果和/或相关信息；

将所述每个线程的处理结果和/或相关信息存储到日志数据库。

5.一种数据处理装置，其特征在于，该装置包括：

第一获取模块，用于获取线程池中每个线程的数据集；

第一处理模块，用于根据所述每个线程的业务逻辑对所述每个线程的数据集进行处理；

拆分处理模块，当处理结果显示所述数据集中存在数据异常时，按照预设规则对所述数据集进行拆分处理，得到所述数据集的异常数据，并对所述异常数据进行标注，所述预设规则包括金字塔原则；

添加模块，用于按照预设的数据库操作类型将处理后的数据集的数据分别添加到相应的队列；

其中，所述拆分处理模块包括：拆分模块，当处理结果显示所述数据集中存在数据异常时，按照预设规则对所述数据集进行拆分，得到所述数据集的子数据集；第二处理模块，根据所述每个线程的业务逻辑对所述数据集的每个子数据集进行处理；循环模块，用于循环执行上述两个步骤直到定位到所述数据集的异常数据为止；

该装置还包括：

分类模块，用于按照业务类型对所述线程池中的每个线程进行分类，以确保所述线程池中的多个线程之间在处理数据时相互独立；

其中，所述第一获取模块包括：

第二判断模块，在多线程控制层分发线程时，判断所述线程池中是否存在与即将执行处理任务的线程类型相同的线程；

校验模块，如果存在，且该线程处于运行状态时，按照预设时长校验该线程已处理数据量的变化；

确定模块，用于根据校验结果，确定所述即将执行处理任务的线程的数据集。

6.一种电子设备，包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现根据权利要求1～4任意一项所述的方法。

7.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现根据权利要求1～4中任意一项所述方法。