[发明专利]基于字段类型的数据处理方法、装置、设备及存储介质

权利要求书

1.一种基于字段类型的数据处理方法，其特征在于，包括：

接收数据迁移指令，并根据所述数据迁移指令，获取所述数据迁移指令对应的待迁移数据；

识别所述待迁移数据中的字段类型；

匹配所述字段类型对应的预设配置文件，并对所述预设配置文件进行解析，以获取所述字段类型对应的预设校验规则和预设修正规则；

在对所述待迁移数据迁移过程中，通过所述预设校验规则对所述迁移数据进行校验处理，得到异常数据；

通过所述预设修正规则对所述异常数据进行修正处理，得到修正数据；

将所述修正数据重新加入到所述待迁移数据中进行数据迁移，并输出所述修正数据对应的日志信息。

2.根据权利要求1所述的基于字段类型的数据处理方法，其特征在于，所述在对所述待迁移数据迁移过程中，通过所述预设校验规则对所述迁移数据进行校验处理，得到异常数据，包括：

在对所述待迁移数据迁移过程中，通过正则匹配的方式，将所述预设校验规则与对应所述字段类型的待迁移数据进行匹配，得到匹配结果；

若所述匹配结果为所述待迁移数据与所述预设校验规则不匹配，则将所述匹配结果对应的待迁移数据作为所述异常数据。

3.根据权利要求1所述的基于字段类型的数据处理方法，其特征在于，在所述在对所述待迁移数据迁移过程中，通过所述预设校验规则对所述迁移数据进行校验处理，得到异常数据之前，所述方法还包括：

解析所述数据迁移指令，获取所述待迁移数据对应的迁移规则；

将所述待迁移数据进行封装，得到封装数据；

根据所述迁移规则，将所述封装数据往目标数据库进行迁移。

4.根据权利要求1所述的基于字段类型的数据处理方法，其特征在于，所述接收数据迁移指令，并根据所述数据迁移指令，获取所述数据迁移指令对应的待迁移数据，包括：

接收所述数据迁移指令；

解析所述数据迁移指令，获取源数据表的名称和源数据库的名称；

根据所述源数据表的名称和源数据库的名称，构建并执行查询语句以获取所述待迁移数据。

5.根据权利要求1所述的基于字段类型的数据处理方法，其特征在于，所述识别所述待迁移数据中的字段类型，包括：

遍历所述待迁移数据，获取所述待迁移数据中所有的字段类型标志；

通过所述字段类型标志，判断出所述待迁移数据中的所述字段类型。

6.根据权利要求1所述的基于字段类型的数据处理方法，其特征在于，所述匹配所述字段类型对应的预设配置文件，并对所述预设配置文件进行解析，以获取所述字段类型对应的预设校验规则和预设修正规则，包括：

获取所述待迁移数据对应的配置文件集合；

匹配每种所述字段类型在所述配置文件集合中对应的预设配置文件；

对所述预设配置文件进行解析，获取每种所述字段类型对应的所述预设校验规则和所述预设修正规则。

7.根据权利要求1至6任一项所述的基于字段类型的数据处理方法，其特征在于，所述通过所述预设修正规则对所述异常数据进行修正处理，得到修正数据，包括：

识别所述异常数据中的所述字段类型；

根据所述字段类型，匹配所述字段类型对应的所述预设修正规则；

根据所述预设修正规则，将所述异常数据进行所述修正处理，得到所述修正数据。