[发明专利]一种数据处理方法和装置

说明书

本发明公开了数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括根据日志表中的累计方案编码，基于目标属性对业务接口表中的待处理数据进行排序，进而获取预设数量的待处理数据；基于目标属性，对所述待处理数据进行分组封装；将封装后的待处理数据放入数据缓存队列尾部，并行将数据缓存队列头部的待处理数据分发至计算线程以执行任务。从而，本发明的实施方式能够大幅度提高再保系统数据计算的处理能力。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法和装置。

背景技术

再保是指直保公司向再保公司分出的行为，再保系统核心即为分出。再保按照流程分为三部分：核心系统数据准备、再保系统数据采集和再保系统数据计算。其中，核心系统数据准备可以把保险公司每天的业务数据从核心库(个险、银保)提取到核心系统中间表，然后再保系统数据采集则可以把中间表的数据保存到再保业务接口表。再保系统数据计算则根据再保业务接口表进行计算，把计算结果保存到分保结果表，以便后期生成报表账单数据。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

目前，随着业务的增多，再保系统也存在大量数据需要处理，而现有的再保系统数据计算已经无法承担如此大量的数据处理。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法和装置，能够大幅度提高再保系统数据计算的处理能力。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理方法，包括根据日志表中的累计方案编码，基于目标属性对业务接口表中的待处理数据进行排序，进而获取预设数量的待处理数据；基于目标属性，对所述待处理数据进行分组封装；将封装后的待处理数据放入数据缓存队列尾部，并行将数据缓存队列头部的待处理数据分发至计算线程以执行任务。

可选地，基于目标属性对业务接口表中的待处理数据进行排序，包括：

采用游标方式对业务接口表中的待处理数据，基于目标属性进行排序。

可选地，根据日志表中的累计方案编码，基于目标属性对业务接口表中的待处理数据进行排序，进而获取预设数量的待处理数据，还包括：

将日志表中的累计方案编码读取到累计方案集合中；

遍历累计方案集合中的累计方案编码，以获取一个累计方案编码；

将累计方案编码作为查询条件，采用游标方式对业务接口表中的待处理数据，基于目标属性进行排序；

从业务接口表中读取待处理数据放入游标缓存中，以批量获取预设数量的待处理数据到内存中。

可选地，基于目标属性，对所述待处理数据进行分组封装，包括：

根据目标属性，对内存中的待处理数据封装，并且将具有同一个目标属性值的待处理数据放入同一数据容器中。

可选地，还包括：

每一个计算线程对应一个数据库，并且将具有同一目标属性值的待处理数据存放在同一张临时表中。

可选地，将封装后的待处理数据放入数据缓存队列尾部，包括：

判断数据缓存队列中待处理数据的数量是否小于预设第一阈值；

若是则向数据缓存队列尾部推送待处理数据；否则暂停预设时间，再判断数据缓存队列中待处理数据的数量是否小于预设第一阈值。

可选地，将数据缓存队列头部的待处理数据分发至计算线程以执行任务，包括：

判断是否存在空闲计算线程；

若是则为空闲计算线程分发待处理数据以执行任务；