[发明专利]数据下档方法和装置、电子设备和存储介质

说明书

本申请提供了一种数据下档方法和装置、电子设备和存储介质，其中，该方法包括：确定待批处理下档的目标数据表，其中，所述目标数据表包含多个目标数据子表；确定与所述目标数据表对应的多个数据库，其中，所述多个目标数据子表中的一个目标数据子表存储在所述多个数据库中的一个数据库中；分别从所述多个数据库中的每个数据库下档所述每个数据库中存储的目标数据子表中的数据，得到所述目标数据表。通过本申请，解决了相关技术中的数据下档方式存在适用性差的问题。

技术领域

本申请涉及数据处理领域，尤其涉及一种数据下档方法和装置、电子设备和存储介质。

背景技术

批处理是银行的日常核心业务，在每天营业结束后银行可以开启批处理，计算当天的资金出入并给出统计报表。在完成批处理日切后，数据下档是批处理作业的第一个处理环节，即，数据准备环节。批处理下档是指按照一定的数据输出规则，从数据库中将数据抽取出来存储到磁盘或分布式存储系统或第三方数据库，以供后续批处理作业进行数据计算。

目前，银行使用一般是基于大/小型机的Oracle(一种关系数据库管理系统)RAC(Real Application Clusters，实时应用集群)、基于大型机的DB2(Database 2，一种关系型数据库管理系统)等数据库。数据下档可以基于数据库自带的数据导出工具或直接利用SQL(Structured Query Language，结构化查询语言)命令将数据提取出来，并存储到磁盘或分布式存储系统中。

然而，上述数据下档的方式需要使用特定类型的数据库(例如，Oracle RAC、DB2等)，对于数据库的硬件要求高，无法适用到其他类型额度数据库。即使可以应用到其他类型的数据库，也会存在数据下档的效率低下的问题。因此，相关技术中的数据下档方式存在适用性差的问题。

发明内容

本申请提供了一种数据下档方法和装置、电子设备和存储介质，以至少解决相关技术中的数据下档方式存在适用性差的问题。

根据本申请实施例的一个方面，提供了一种数据下档方法，包括：确定待批处理下档的目标数据表，其中，所述目标数据表包含多个目标数据子表；确定与所述目标数据表对应的多个数据库，其中，所述多个目标数据子表中的一个目标数据子表存储在所述多个数据库中的一个数据库中；分别从所述多个数据库中的每个数据库下档所述每个数据库中存储的目标数据子表中的数据，得到所述目标数据表。

可选地，确定与所述目标数据表对应的所述多个数据库包括：从目标数据库代理获取与所述目标数据表对应的目标数据子表分布信息，其中，所述目标数据子表分布信息用于指示所述目标数据表包含的多个数据子表中的每个数据子表与所述每个数据子表所在的数据库之间的关联关系；根据所述目标数据子表分布信息，确定出与所述目标数据表对应的所述多个数据库。

可选地，分别从所述多个数据库中的所述每个数据库下档所述每个数据库中存储的目标数据子表中的数据包括：通过多个线程从所述每个数据库并行下档所述每个数据库中存储的目标数据子表中的数据，其中，所述多个线程与所述多个数据库一一对应。

可选地，分别从所述多个数据库中的所述每个数据库下档所述每个数据库中存储的目标数据子表中的数据包括：分别向所述每个数据库发送目标下档请求，其中，所述目标下档请求用于请求按照目标下档条件下档所述每个数据库中存储的目标数据子表中的数据；接收所述每个数据库响应所述目标下档请求所返回的目标响应消息，其中，所述目标响应消息中携带有按照所述目标下档条件从所述每个数据库中存储的目标数据子表获取到的数据。