[发明专利]大批量征信数据处理方法、电子装置及计算机设备

说明书

本发明公开了一种大批量征信数据处理方法。将客户提交的任务数据分别存入第一数据库与第二数据库中，从所述第一数据库取出一条任务数据并进行处理。查询所述第一数据库中是否还有任务数据。若检测到无任务数据，更新所述任务数据在所述第二数据库中的任务状态。检查所述第一数据库是否有因为任务数据丢失而遗漏任务数据没被处理到，若检测到遗漏的任务数据，把所述遗漏的任务数据再插入到所述第一数据库中处理。本发明提供的大批量征信数据处理方法与电子装置使数据库压力得到释放，数据读取效率得到提升，及数据持久化仍能得到保证。

技术领域

本发明涉及数据处理的技术领域，尤其涉及一种大批量征信数据处理方法、电子装置、计算机设备及存储介质。

背景技术

目前大批量需要即时处理的数据通过数据库存储，由异步处理线程使用较快的频率持续访问数据库检索数据进行处理，以保证数据处理的即时性和持久化。为了保证处理的即时性，就需要以很快的频率访问数据库查询有没有待处理的任务，数据库压力始终非常高

消费贷款申请客户每日提交各种类型的客户数据，如购买的各种寿险保单、车险保单等详细信息，系统需要对这些提交数据进行整理，查询，审核，计算，信用评级等。每天客户提交的数据量非常巨大，需要系统及时处理。

之前系统会把接收到的数据(请求任务)放在ORACLE数据库中，由处理系统不停歇的循环访问数据库，查询是否有新请求任务进入，有就立刻处理并将处理结果在写入数据库中，没有则进行下一次循环。由于数据库是硬盘存储，因此频繁对它进行查询造成很高的访问压力，数据库便不能很好的处理其他任务。

发明内容

有鉴于此，本发明提出一种大批量征信数据处理方法，在数据处理上不仅使用REDIS存储供处理系统读取，也会存储在ORACLE的硬盘数据库中，两者相配合，既能实现快速读写，也能保障数据不会丢失。

为实现上述目的，本发明提出一种大批量征信数据处理方法，应用于电子装置中，该方法包括步骤：将客户提交的任务数据分别存入第一数据库与第二数据库中；从所述第一数据库取出一条任务数据并进行处理；查询所述第一数据库中是否还有任务数据；若检测到无任务数据，则对所述第一数据库执行下一次查询；更新所述任务数据在所述第二数据库中的任务状态；检查所述第一数据库是否有因为任务数据丢失而遗漏任务数据没被处理到；及若检测到遗漏的任务数据，把所述遗漏的任务数据再插入到所述第一数据库中处理。

进一步地，当超过预设时间所述第二数据库中的第一任务数据的状态没更新，表示所述第一任务数据被丢失。

进一步地，所述任务数据处理完后，将所述任务数据从所述第一数据库中移出，但不从所述第二数据库中移出。

进一步地，所述第一数据库保存待处理的任务数据，所述第二数据库保留全部的任务数据。

为实现上述目的，本发明还提出一种电子装置，包括存储模块、处理模块、查询模块、更新模块与检查模块。所述存储模块用于将客户提交的任务数据分别存入第一数据库与第二数据库中。所述处理模块用于从所述第一数据库取出一条任务数据并进行处理。所述查询模块用于查询所述第一数据库中是否还有任务数据。所述更新模块用于更新所述任务数据在所述第二数据库中的任务状态。所述检查模块用于检查所述第一数据库是否有因为任务数据丢失而遗漏任务数据没被处理到。若检测到遗漏的任务数据，所述处理模块把所述遗漏的任务数据再插入到所述第一数据库中处理。

进一步地，当超过预设时间所述第二数据库中的第一任务数据的状态没更新，表示所述第一任务数据被丢失。

进一步地，所述任务数据处理完后，所述查询模块将所述任务数据从所述第一数据库中移出，但不从所述第二数据库中移出。

进一步地，所述第一数据库保存待处理的任务数据，所述第二数据库保留全部的任务数据。