[发明专利]基于数据库的批量导入方法、装置、设备及存储介质

说明书

本发明涉及人工智能领域，公开了基于数据库的批量导入方法、装置、设备及存储介质，用于避免同批次数据全部回滚，提高了数据导入效率。本发明方法包括：获取目标数据集，目标数据集包括多条待导入数据，待导入数据为需要导入数据库的业务数据；确定目标数据集的数据格式；通过预置类将每条待导入数据映射到预置类的多个属性中，生成多个实例，每个实例中都包括一条待导入数据；根据数据格式将多个实例导入到数据库中；通过预置函数对多个实例的导入过程进行监控，并将导入结果存储到对应的实例中；当至少一个实例在导入过程中发生异常时，通过预置的二分类算法将目标数据集中其他实例中的正常数据导入到数据库。

技术领域

本发明涉及人工智能领域，尤其涉及一种基于数据库的批量导入方法、装置、设备及存储介质。

背景技术

随着互联网技术的快速发展和业务拓展的需要，在一些特定的场景下，需要将批量的数据导入到数据库中进行存储，如果批量上传后，采用一条一条数据进行提交存储的方法短时间内多次数地与数据库进行交互会很消耗数据库性能，很可能导致页面响应时间超长，前台操作停止了，后台数据库操作仍然在继续。因此一般情况下，当数据量不止一条的情况下，都是采用批量提交的方式，然而，由于架构设计的缺陷，未能及时捕获持久化过程中产生的异常，导致页面不会对后台处理结果做出反馈，操作者也无法得知最终数据导入是否成功。

现有方案中只能在数据导入之前进行校验并反馈，当批量导入的数据中的部分数据在持久化过程中因为数据库异常导致数据持久化失败时，会导致该批次的数据导入全部回滚，持久化失败。

发明内容

本发明提供了一种基于数据库的批量导入方法、装置、设备及存储介质，用于当批量导入数据发生异常时，剔除异常数据并将同批次数据的正常数据重新导入，避免同批次数据全部回滚，提高了数据导入效率。

本发明实施例的第一方面提供一种基于数据库的批量导入方法，包括：获取目标数据集，所述目标数据集包括多条待导入数据，所述待导入数据为需要导入数据库的业务数据；确定所述目标数据集的数据格式；通过预置类将每条待导入数据映射到所述预置类的多个属性中，生成多个实例，每个实例中都包括一条待导入数据；根据所述数据格式将所述多个实例导入到所述数据库中；通过预置函数对所述多个实例的导入过程进行监控，并将导入结果存储到对应的实例中；当至少一个实例在导入过程中发生异常时，通过预置的二分类算法将所述目标数据集中其他实例中的正常数据导入到所述数据库。

可选的，在本发明实施例第一方面的第一种实现方式中，所述通过预置类将每条待导入数据映射到所述预置类的多个属性中，生成多个实例，每个实例中都包括一条待导入数据包括：调用预置类对每条待导入数据进行拆分，得到每条待导入数据的N个数组，其中，预置类包括N个属性，N为正整数；将所述每条待导入数据的N个数组分别映射到所述预置类的N个属性中；在所述预置类中增加一个目标属性，所述目标属性用于记录所述数据库异常信息；根据预置类的N+1个属性生成每条待导入数据对应的实例，得到多个实例，每个实例包括一条待导入数据的N个数组和所述数据库异常信息。

可选的，在本发明实施例第一方面的第二种实现方式中，所述根据所述数据格式将所述多个实例导入到所述数据库中包括：根据所述数据格式确定至少一个目标导入模板；根据所述至少一个目标导入模板将所述多个实例导入到所述数据库中。

可选的，在本发明实施例第一方面的第三种实现方式中，所述根据所述数据格式确定至少一个目标导入模板包括：判断数据格式是否为表格格式或逗号分隔值格式；若数据格式为表格格式或逗号分隔值格式，则读取所述待导入数据中的多个标题名称；在预置的候选导入模板中选择至少一个导入模板作为目标导入模板，所述目标导入模板包括所述多个标题名称。