[发明专利]基于数据库的批量导入方法、装置、设备及存储介质

权利要求书

1.一种基于数据库的批量导入方法，其特征在于，包括：

获取目标数据集，所述目标数据集包括多条待导入数据，所述待导入数据为需要导入数据库的业务数据；

确定所述目标数据集的数据格式；

通过预置类将每条待导入数据映射到所述预置类的多个属性中，生成多个实例，每个实例中都包括一条待导入数据；

根据所述数据格式将所述多个实例导入到所述数据库中；

通过预置函数对所述多个实例的导入过程进行监控，并将导入结果存储到对应的实例中；

当至少一个实例在导入过程中发生异常时，通过预置的二分类算法将所述目标数据集中其他实例中的正常数据导入到所述数据库；

所述通过预置类将每条待导入数据映射到所述预置类的多个属性中，生成多个实例，每个实例中都包括一条待导入数据包括：

调用预置类对每条待导入数据进行拆分，得到每条待导入数据的N个数组，其中，预置类包括N个属性，N为正整数；

将所述每条待导入数据的N个数组分别映射到所述预置类的N个属性中；

在所述预置类中增加一个目标属性，所述目标属性用于记录所述数据库异常信息；

根据预置类的N+1个属性生成每条待导入数据对应的实例，得到多个实例，每个实例包括一条待导入数据的N个数组和所述数据库异常信息；

所述通过预置函数对所述多个实例的导入过程进行监控，并将导入结果存储到对应的实例中，包括：

调用预置的监控函数对所述多个实例的导入过程进行监控；

判断每个实例中的每个数组是否导入成功；

若目标实例中任意一个数组导入失败，则将导入失败的数组进行标记并确定为异常数组；

生成异常信息，所述异常信息用于指示标记好的异常数组；

将所述异常信息写入所述目标实例的目标属性中；

所述当至少一个实例在导入过程中发生异常时，通过预置的二分类算法将所述目标数据集中其他实例中的正常数据导入到所述数据库，包括：

当至少一个实例的导入过程中发生异常时，调用预置的逻辑回归模型法查找导入失败的异常实例；

删除所述异常实例；

将剩余实例中的正常数据导入到所述数据库。

2.根据权利要求1所述的基于数据库的批量导入方法，其特征在于，所述根据所述数据格式将所述多个实例导入到所述数据库中包括：

根据所述数据格式确定至少一个目标导入模板；

根据所述至少一个目标导入模板将所述多个实例导入到所述数据库中。

3.根据权利要求2所述的基于数据库的批量导入方法，其特征在于，所述根据所述数据格式确定至少一个目标导入模板包括：

判断数据格式是否为表格格式或逗号分隔值格式；

若数据格式为表格格式或逗号分隔值格式，则读取所述待导入数据中的多个标题名称；

在预置的候选导入模板中选择至少一个导入模板作为目标导入模板，所述目标导入模板包括所述多个标题名称。

4.根据权利要求1-3中任一所述的基于数据库的批量导入方法，其特征在于，在所述获取目标数据集，所述目标数据集包括多条待导入数据，所述待导入数据为需要导入数据库的业务数据之前，所述方法还包括：

获取原始数据并进行校验，得到通过校验的目标数据；

将所述目标数据确定为所述目标数据集。