[发明专利]处理账户数据的方法、装置、电子设备和计算机可读介质

说明书

本发明公开了处理账户数据的方法、装置、电子设备和计算机可读介质，涉及大数据数据分析技术领域。该方法的一具体实施方式包括：按照账户账号顺序对账户数据进行分片，以使每个线程对应于一个分片的账户数据；对于每个分片，按照账户账号顺序对所述分片中的账户数据进行分页；对于每个分片，通过所述分片对应的线程按照账户账号顺序逐个对所述分片内的各个分页进行处理。该实施方式能够解决账户数据处理效率低的技术问题。

技术领域

本发明涉及大数据数据分析技术领域，尤其涉及一种处理账户数据的方法、装置、电子设备和计算机可读介质。

背景技术

随着账户数量的增加，处理账户数据的时间越来越长，而且有些账户数据还对完成时间有严格要求，比如公积金业务管理系统中，在每年6月30日要完成所有未销户公积金个人存款账户的年度结息，为不影响白天正常营业，该操作需要在晚间有限的停业时间窗口内完成结息前检核、备份数据、计算利息、记账、结果核验等多道工序；其中计算利息的耗时最多，涉及计算利息的账户数量数以万计甚至百万计。

常见的批量处理账户数据的方法是在程序中对账户数据进行分片，使用多个线程并发处理各个分片的账户数据，每个分片中线性逐个处理账户数据。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有的分片多线程批量处理方法非常依赖应用服务器计算资源，其计算效率与可使用的最大线程数成正比。而业务处理系统的硬件和计算资源一般比较有限，可使用的线程数量不多(一般为几十个)，每个线程仍然要处理较大的数据分片，且单条账户数据的基础计算耗时相对固定、不可压缩(较好的情况是0.5秒左右)，总的计算耗时为【单条数据计算耗时×账户总户数/最大线程数】，该方法可在单线程顺序计算基础上提升几十倍的效率，但在硬件条件一般的情况下仍耗时较多。

发明内容

有鉴于此，本发明实施例提供一种处理账户数据的方法、装置、电子设备和计算机可读介质，以解决账户数据处理效率低的技术问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种处理账户数据的方法，包括：

按照账户账号顺序对账户数据进行分片，以使每个线程对应于一个分片的账户数据；

对于每个分片，按照账户账号顺序对所述分片中的账户数据进行分页；

对于每个分片，通过所述分片对应的线程按照账户账号顺序逐个对所述分片中的各个分页进行处理。

可选地，每个分片的数据量大小等于账户总户数除以最大线程数。

可选地，每个分页的数据量大小为100-2000条。

可选地，对于每个分片，按照账户账号顺序逐个对所述分片中的各个分页进行处理，包括：

对于每个分片中的每个分页，将所述分页的起始账户账号和截止账户账号输入到数据库的结构化查询语句中，执行所述结构化查询语句，从而批量处理所述分页中的各条账户数据；

将所述结构化查询语句的处理结果存储到中间结果表中。

可选地，将所述结构化查询语句的处理结果存储到中间结果表中，包括：

将所述结构化查询语句的处理结果存储到所述分页对应的中间结果表中，并建立所述中间结果表的索引。

可选地，每个分页对应于一个中间结果表，所述中间结果表的索引为账户账号。

可选地，所述数据库为关系型数据库。

可选地，所述结构化查询语句为SQL语句。

另外，根据本发明实施例的另一个方面，提供了一种处理账户数据的装置，包括：