[发明专利]一种数据处理方法和装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

根据日志表中的累计方案编码，基于目标属性对业务接口表中的待处理数据进行排序，进而获取预设数量的待处理数据；

基于目标属性，对所述待处理数据进行分组封装；

将封装后的待处理数据放入数据缓存队列尾部，并行将数据缓存队列头部的待处理数据分发至计算线程以执行任务。

2.根据权利要求1所述的方法，其特征在于，基于目标属性对业务接口表中的待处理数据进行排序，包括：

采用游标方式对业务接口表中的待处理数据，基于目标属性进行排序。

3.根据权利要求2所述的方法，其特征在于，根据日志表中的累计方案编码，基于目标属性对业务接口表中的待处理数据进行排序，进而获取预设数量的待处理数据，还包括：

将日志表中的累计方案编码读取到累计方案集合中；

遍历累计方案集合中的累计方案编码，以获取一个累计方案编码；

将累计方案编码作为查询条件，采用游标方式对业务接口表中的待处理数据，基于目标属性进行排序；

从业务接口表中读取待处理数据放入游标缓存中，以批量获取预设数量的待处理数据到内存中。

4.根据权利要求3所述的方法，其特征在于，基于目标属性，对所述待处理数据进行分组封装，包括：

根据目标属性，对内存中的待处理数据封装，并且将具有同一个目标属性值的待处理数据放入同一数据容器中。

5.根据权利要求1所述的方法，其特征在于，还包括：

每一个计算线程对应一个数据库，并且将具有同一目标属性值的待处理数据存放在同一张临时表中。

6.根据权利要求1所述的方法，其特征在于，将封装后的待处理数据放入数据缓存队列尾部，包括：

判断数据缓存队列中待处理数据的数量是否小于预设第一阈值；

若是则向数据缓存队列尾部推送待处理数据；否则暂停预设时间，再判断数据缓存队列中待处理数据的数量是否小于预设第一阈值。

7.根据权利要求1所述的方法，其特征在于，将数据缓存队列头部的待处理数据分发至计算线程以执行任务，包括：

判断是否存在空闲计算线程；

若是则为空闲计算线程分发待处理数据以执行任务；

否则判断活动计算线程的数量是否小于预设第二阈值，若是则创建新线程，以分发待处理数据进而执行任务；否则将传入的线程任务放入任务队列进行排队。

8.一种数据处理装置，其特征在于，包括：

获取模块，用于根据日志表中的累计方案编码，基于目标属性对业务接口表中的待处理数据进行排序，进而获取预设数量的待处理数据；

封装模块，用于基于目标属性，对所述待处理数据进行分组封装；

处理模块，用于将封装后的待处理数据放入数据缓存队列尾部，并行将数据缓存队列头部的待处理数据分发至线程以执行任务。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。