[发明专利]由自动化脚本执行的可配置的数据迁移方法及装置

说明书

本公开提供了一种由自动化脚本执行的可配置的数据迁移方法，可以应用于数据迁移技术领域。该方法包括：根据目标表的数据结构创建中间表；将源数据转入到所述中间表；根据业务数据映射参数表对所述中间表的源数据进行转换以生成转换后的中间表；根据数据检核配置表对转换后的中间表进行数据检核；根据业务数据映射参数表和所述转换后的中间表生成目标表；根据所述数据检核配置表对所述目标表进行数据检核；以及根据静态验证配置表对所述目标表进行静态检验。本公开还提供了一种由自动化脚本执行的可配置的数据迁移装置、设备、存储介质和程序产品。

技术领域

本公开涉及数据迁移技术领域，更具体地涉及一种由自动化脚本执行的可配置的数据迁移方法、装置、设备、介质和程序产品。

背景技术

随着银行业务的快速发展，部分银行现有系统可能难以满足自身业务需求，需要引入新的系统。新旧系统的数据迁移就尤为重要，由于旧系统数据量大、数据结构不同等问题，使得数据迁移需要定制化开发程序；当有数据来自上游的组件时，上游组件规则变化导致检核脚本修改频繁。

目前数据迁移大部分采用手工干预的方法，手工进行数据加工，人为修改检核脚本，由于数据量大，数据加工规则复杂，导致数据迁移的效率较低，人工干预和误操作也加大了后期静态检验的工作量。

发明内容

鉴于上述问题，本公开提供了提高数据迁移效率的由自动化脚本执行的可配置的数据迁移方法、装置、设备、介质和程序产品。

根据本公开的第一个方面，提供了一种由自动化脚本执行的可配置的数据迁移方法，所述自动化脚本包括业务数据映射参数表、数据检核配置表和静态验证配置表，包括：

根据目标表的数据结构创建中间表；

将源数据转入到所述中间表；

根据业务数据映射参数表对所中间表的源数据进行转换以生成转换后的中间表；

根据数据检核配置表对转换后的中间表进行数据检核；

根据业务数据映射参数表和所述转换后的中间表生成目标表；

根据所述数据检核配置表对所述目标表进行数据检核；以及

根据静态验证配置表对所述目标表进行静态检验0

根据本公开的实施例，所述业务数据映射参数表包括字段映射参数表，所述字段映射参数表包括第一映射规则和第二映射规则，所述第一映射规则用于对源数据进行转换生成中间数据，所述第二映射规则用于将所述中间数据转换生成目标数据，

所述根据业务数据映射参数表对所述中间表的源数据进行转换以生成转换后的中间表包括：

根据所述第一映射规则对所述中间表的源数据进行转换生成中间数据；

根据所述中间数据生成转换后的中间表。

根据本公开的实施例，所述数据检核配置表包括数据库表中各字段对应的第一检核规则和第二检核规则，所述第一检核规则用于对转换后的中间表进行数据检核，所述第二检核规则用于对目标表进行数据检核，

所述根据数据检核配置表对转换后的中间表进行数据检核包括：

根据所述第一检核规则对转换后的中间表进行数据检核；

生成第一数据检核报告。

根据本公开的实施例，所述根据业务数据映射参数表和所述转换后的中间表生成目标表包括：

根据所述第二映射规则对所述中间数据进行数据转换，以生成目标数据；

根据所述目标数据生成目标表。

根据本公开的实施例，所述根据所述数据检核配置表对所述目标表进行数据检核包括：