[发明专利]数据处理方法及装置、电子设备和计算机可读存储介质

说明书

本公开提供了一种数据处理方法及装置、电子设备和计算机可读存储介质，本公开可用于大数据技术领域，也可用于金融技术领域。上述数据处理方法，包括：在第T日的第一预设时间段内获取预处理结果数据，其中预处理结果数据为在第一处理系统中对截止第T‑1日的系统交易日志数据处理获得的数据，且预处理结果数据包括第一类别数据、第二类别数据、以及第三类别数据；在第T日按照第二预设时间间隔，多次获取增量基础数据，其中增量基础数据用于计算第T日的不可预计损益发生额；以及根据预处理结果数据和多个增量基础数据，计算目标损益额，其中目标损益额为截止第T日的日终损益余额。

技术领域

本公开涉及大数据技术领域，更具体地，涉及一种数据处理方法及装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

金融机构中，其核心业务的处理依赖于IBM主机系统。

随着金融机构交易体量的不断增大，以及主机高昂的成本，发明人发现相关技术中至少存在如下问题：单纯依靠主机系统来处理业务已经无法满足日常业务需要。

发明内容

有鉴于此，本公开提供了一种数据处理方法及装置、电子设备、计算机可读存储介质和计算机程序产品。

本公开的一个方面提供了一种数据处理方法，包括：

在第T日的第一预设时间段内获取预处理结果数据，其中预处理结果数据为在第一处理系统中对截止第T-1日的系统交易日志数据处理获得的数据，且预处理结果数据包括第一类别数据、第二类别数据、以及第三类别数据，第一类别数据为用于表征截止第T-1日的日终损益余额的数据、第二类别数据为用于表征第T日的可预计损益发生额的数据、第三类别数据为用于表征截止第T-1日的外汇买卖余额的数据；

在第T日按照第二预设时间间隔，多次获取增量基础数据，其中增量基础数据用于计算第T日的不可预计损益发生额；以及

根据预处理结果数据和多个增量基础数据，计算目标损益额，其中目标损益额为截止第T日的日终损益余额。

根据本公开的实施例，其中，预处理结果数据被预先存储在数据传输平台中；获取预处理结果数据包括：从数据传输平台中获取预处理结果数据。

根据本公开的实施例，其中，增量基础数据被预先存储在分布式消息流平台中；获取增量基础数据包括：从分布式消息流平台中获取增量基础数据。

根据本公开的实施例，其中，根据预处理结果数据和多个增量基础数据，计算目标损益额包括：利用调度系统建立多个用于计算目标损益额的任务线程；以及采用多任务线程并行的方式，根据预处理结果数据和多个增量基础数据，计算目标损益额。

根据本公开的实施例，其中，根据预处理结果数据和多个增量基础数据，计算目标损益额包括：

获取多个待关联数据表，其中待关联数据表中存储有预处理结果数据或增量基础数据；

将多个待关联数据表进行关联，以获取关联数据；

根据关联数据，计算目标损益额。

根据本公开的实施例，其中将多个待关联数据表进行关联包括：采用第一关联方法将多个待关联数据表中的第一分类数据表进行关联；采用第二关联方法将多个待关联数据表中的第二分类数据表进行关联；其中第一分类数据表的数据量大于第二分类数据表的数据量，第一分类数据表与其他待关联数据表关联的次数少于第二分类数据表与其他待关联数据表关联的次数。

根据本公开的实施例，其中，采用第二关联方法将多个待关联数据表中的第二分类数据表进行关联包括：在第二分类数据表中选取驱动表，其中驱动表采用关联主键分布均匀的数据表；以及将驱动表与第二分类数据表中的其他数据表关联。