[发明专利]数据处理方法、装置、介质及电子设备

说明书

本发明提出一种数据处理方法、装置、介质及电子设备，涉及数据处理技术领域。数据处理方法包括：获取源数据库中的待归档数据及所述待归档数据的相对记录编号；根据所述待归档数据的总数量确定所需创建临时文件的数量；根据所述临时文件的数量及所述待归档数据的总数量确定所述临时文件的待归档数据；将所述待归档数据及所述待归档数据的相对记录编号写入所述临时文件；将符合归档条件的所述临时文件中的所述待归档数据存储至归档数据库。本发明提供的技术方案能够提高归档效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、介质及电子设备。

背景技术

近年来随着保险业务的发展，运行在服务器，例如是AS400服务器上的系统数据在爆发式增长，所以需要对存储在服务器上的历史数据进行及时的归档处理。

现有对数据归档方法是以公司为单位将数据分别归档，即针对某一张业务表，归档程序读出当前公司的数据，根据预订条件判断是否应该归档，如需要归档则将数据写入归档库，并从当前库中删除该条数据。但是，目前分公司数据不断增加的情况下，需要多个线程进行数据分档工作，并且每个公司之间的数据量差异较大，导致数据归档时间很长，总时间不可控。

在使用现有数据归档方法时遇到以下问题，第一，数据在多线程归档的过程中，线程数量有限；第二，不同线程归档时间差异大，归档总时间不可控，归档效率低。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明为解决上述的线程数量有限、归档效率低的问题，提供一种高效率的数据处理方法、装置、介质及电子设备。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一个方面，提供一种数据处理方法，包括：获取源数据库中的待归档数据及所述待归档数据的相对记录编号；根据所述待归档数据的总数量确定所需创建临时文件的数量；根据所述临时文件的数量及所述待归档数据的总数量确定所述临时文件的待归档数据；将所述待归档数据及所述待归档数据的相对记录编号写入所述临时文件；将符合归档条件的所述临时文件中的所述待归档数据存储至归档数据库。

在一个实施例中，所述临时文件包括对应于所述待归档数据的所述相对记录编号的起始编号及终止编号，其中，所述起始编号＝1+(M-1)*取整(T/N)，所述终止编号＝M*取整(T/N)，N为所述临时文件的数量，T为所述待归档数据的总数量，M为取自1至N的整数。

在一个实施例中，将存储至所述归档数据库的所述待归档数据根据所述相对记录编号从所述源数据库中删除。

在一个实施例中，所述将符合归档条件的所述临时文件中的所述待归档数据存储至归档数据库包括：所述待归档数据包括保单数据及费用转账数据；其中，若所述保单数据的起始时间与当前系统时间的差值超过第一预设时间，则将所述保单数据存储至所述归档数据库；若所述费用转账数据的发生时间与所述当前系统时间的差值超过第二预设时间及转账返回码的记录非空，则将所述费用转账数据存储至所述归档数据库。

在一个实施例中，数据处理方法还包括：根据所述临时文件的所述待归档数据的数量确定所需创建子临时文件的数量；根据所述子临时文件的数量及所述临时文件的所述待归档数据确定所述子临时文件中的所述待归档数据；将所述临时文件中的所述待归档数据及所述待归档数据的所述相对记录编号写入所述子临时文件中。

在一个实施例中，数据处理方法还包括：获取所述当前系统时间与归档开始时间的差值，若所述当前系统时间与归档开始时间的差值大于预设归档时长，则暂停对所述待归档数据的归档处理。