[发明专利]一种异常导入数据的处理方法、装置及设备

说明书

本申请实施例公开了一种异常导入数据的处理方法、装置及设备，先获取待导入数据，判断待导入数据是否满足异常条件。如果待导入数据满足异常条件，将待导入数据确定为待排查异常数据，将待排查异常数据写入至异常数据表中。最后，从异常数据表中选取目标异常数据，将目标异常数据导入至目标数据库中，根据导入结果来确定异常问题。若导入成功，将异常问题确定为数据异常问题。若导入不成功，将异常问题确定为入库异常问题。通过将目标异常数据导入至目标数据库中，可以实现部分可以正常入库的目标异常数据的自动导入，确定目标异常数据的异常原因，便于后续针对异常原因对异常数据进行处理。加快了对异常数据的处理速度，提高了数据导入效率。

技术领域

本申请涉及数据处理领域，具体涉及一种异常导入数据的处理方法、装置及设备。

背景技术

数据库用于储存大量的数据，并利用储存的数据向用户提供数据储存、数据处理以及数据分析等服务。当有新的数据生成或者是需要对数据库中储存的数据进行修改时，需要将数据导入至数据库中。

数据库的导入数据中可能存在异常数据。目前，是将导入数据中的异常数据进行提取，通过人工来控制异常数据的导入过程或者是对异常数据进行处理。人工处理方式导致处理异常数据的效率较低，影响数据导入的速度。

发明内容

有鉴于此，本申请实施例提供一种异常导入数据的处理方法、装置及设备，能够实现部分异常数据的自动入库，并且可以确定异常导入数据的异常问题，便于后续根据异常问题对异常数据进行处理，提高了异常数据的处理效率。

为解决上述问题，本申请实施例提供的技术方案如下：

第一方面，本申请提供一种异常导入数据的处理方法，所述方法包括：

获取待导入数据，判断所述待导入数据是否满足异常条件；所述异常条件包括所述待导入数据的数据字段数量不符合目标字段数量和/或所述待导入数据的字段格式不符合预设字段格式；

若所述待导入数据满足异常条件，将所述待导入数据确定为待排查异常数据，将所述待排查异常数据写入异常数据表中；

从所述异常数据表中选取目标异常数据，将所述目标异常数据导入目标数据库；

若导入成功，则将所述目标异常数据的异常问题确定为数据异常问题；

若导入不成功，则将所述目标异常数据的异常问题确定为入库异常问题。

在一种可能的实现方式中，所述将所述待排查异常数据写入异常数据表中，包括：

获取所述待排查异常数据所要导入的数据表的目标表名和所述待排查异常数据所要导入目标数据库的预定导入时间；

获取所述待排查异常数据的列信息、数据信息和异常信息，将所述列信息、所述数据信息和所述异常信息组成目标值字段；

将所述目标表名、所述目标导入时间和所述目标值字段写入所述异常数据表中。

在一种可能的实现方式中，所述从所述异常数据表中选取目标异常数据，包括：

选取目标数据库中的数据表作为待写入数据表；

获取所述待写入数据表的表名作为待写入表名；获取所述待写入数据表的日期信息作为待写入日期；

根据所述待写入表名和所述待写入日期，在所述异常数据表中查询是否具有对应的待排查异常数据；

若具有，将所述待排查异常数据作为目标异常数据。

在一种可能的实现方式中，所述将所述目标异常数据导入目标数据库，包括：

获取所述目标异常数据的键值数据，对所述键值数据进行拼接，得到目标键值数据；