[发明专利]基于字段类型的数据处理方法、装置、设备及存储介质

说明书

本申请涉及数据处理技术领域，揭露一种基于字段类型的数据处理方法、装置、设备及存储介质，其中方法包括接收数据迁移指令，获取数据迁移指令对应的待迁移数据；识别待迁移数据中的字段类型；匹配字段类型对应的预设配置文件，获取字段类型对应的预设校验规则和预设修正规则；在对待迁移数据迁移过程中，通过预设校验规则对迁移数据进行校验处理，得到异常数据；通过预设修正规则对异常数据进行修正处理，得到修正数据；将修正数据重新加入到待迁移数据中进行数据迁移，并输出修正数据对应的日志信息。本申请还涉及区块链技术，待迁移数据存储于区块链中。本申请通过在数据迁移过程中对数据进行校验和修正，以提高数据迁移的效率。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种基于字段类型的数据处理方法、装置、设备及存储介质。

背景技术

随着开源数据库的应用和云计算的发展，出现了越来越多的数据跨数据库迁移的需求。所谓的数据迁移是指，根据提供的数据迁移的工具，按照指定的步骤和规则，将一种数据库(源数据库)的数据导出，以其他语句或者数据文件的形式，装载到目标数据库中。

在现有的数据迁移方式中，直接根据预设的迁移规则，对数据进行迁移。但是，在数据迁移过程中，由于数据是跨数据库迁移的，往往会产生一些异常数据，导致数据迁移过程中断，这时候需要重新修改数据的映射程序，这样导致了数据迁移效率低下。现亟需一种能够在数据迁移对数据进行校验和修正，以提高数据迁移的效率的方法。

发明内容

本申请实施例的目的在于提出一种基于字段类型的数据处理方法、装置、设备及存储介质，在数据迁移过程中对数据进行校验和修正，以提高数据迁移的效率。

为了解决上述技术问题，本申请实施例提供一种基于字段类型的数据处理方法，包括：

接收数据迁移指令，并根据所述数据迁移指令，获取所述数据迁移指令对应的待迁移数据；

识别所述待迁移数据中的字段类型；

匹配所述字段类型对应的预设配置文件，并对所述预设配置文件进行解析，以获取所述字段类型对应的预设校验规则和预设修正规则；

在对所述待迁移数据迁移过程中，通过所述预设校验规则对所述迁移数据进行校验处理，得到异常数据；

通过所述预设修正规则对所述异常数据进行修正处理，得到修正数据；

将所述修正数据重新加入到所述待迁移数据中进行数据迁移，并输出所述修正数据对应的日志信息。

为了解决上述技术问题，本申请实施例提供一种基于字段类型的数据处理装置，包括：

待迁移数据获取模块，用于接收数据迁移指令，并根据所述数据迁移指令，获取所述数据迁移指令对应的待迁移数据；

字段类型识别模块，用于识别所述待迁移数据中的字段类型；

预设规则获取模块，用于匹配所述字段类型对应的预设配置文件，并对所述预设配置文件进行解析，以获取所述字段类型对应的预设校验规则和预设修正规则；

待迁移数据校验模块，用于在对所述待迁移数据迁移过程中，通过所述预设校验规则对所述迁移数据进行校验处理，得到异常数据；

异常数据修正模块，用于通过所述预设修正规则对所述异常数据进行修正处理，得到修正数据；

修正数据加入模块，用于将所述修正数据重新加入到所述待迁移数据中进行数据迁移，并输出所述修正数据对应的日志信息。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种计算机设备，包括，一个或多个处理器；存储器，用于存储一个或多个程序，使得一个或多个处理器实现上述任意一项所述的基于字段类型的数据处理方法。