[发明专利]数据导入校验方法、系统、装置及计算机可读介质

说明书

本发明公开了数据导入校验方法、系统、装置及计算机可读介质，属于数据入库技术领域，要解决的技术问题为如何实现数据导入的完整性校验，并提升数据的可靠性和系统可用性。S100、配置基本约束和关联约束；S200、基于基本约束和管理约束构建数据校验模型，在Es搜索引擎中建立与数据校验模型对应的物理索引，并同步生成与对应的excel模板文件；S300、将符合约束的excel数据保存至Es搜索引擎，将不符合约束的excel数据作为失败数据保存并提示检测失败原因；S400、将保存于Es搜索引擎中的excle数据插入数据库，将失败数据进行excel导出并进行修正，对修正后识失败数据执行步骤S300‑S400。

技术领域

本发明涉及数据入库技术领域，具体地说是数据导入校验方法、系统、装置及计算机可读介质。

背景技术

在政务服务产品领域，存在很多需要将历史数据或者无法对接的系统数据进行数据导入的场景，但是每个业务系统都有自己的业务规则，这就导致导入的数据存在一定的约束要求，不然导入到数据库也是存在数据不合格的情况。

针对上述出现的情况，并考虑到业务场景的数据关联性强，格式严格，数据量庞大等要求，在数据导入的时候采用合适的模型进行数据检验是必然的，并且针对导入数据量大的情况需要做到适配。

数据库的完整性是指数据的正确性和相容性，数据的完整性控制是为了防止数据库中存在不符合语义的数据，也就是防止出现不正确的数据。目前在数据库进行数据检验时，解决数据完整性的约束机制主要有三种方法，前端应用控制、数据库触发器和声明约束。

应用控制指的是在开发者应用中对输入的数据进行数据格式校验，包括数据的类型和内容，在插入时通过程序对数据的每个字段进行校验避免脏数据的插入。数据库触发器指的是通过定义触发条件和编写触发后执行语句，来实现对数据表操作的各种约束，可以引用其它表的字段。触发器可以引用其他表，可以包含复杂的SQL语句。当对一个表进行修改时，通过触发器按照相关业务规则去修改其他的表，一旦发现修改过程中出现违背业务规则的情况，可以通过回滚语句，将数据恢复到修改前的状态。声明约束主要包含三个方面，实体完整性校验即数据主键不为空且唯一，参照性完整性即表之间关联主外键的校验，用户自定义完整性即声明列数据需满足语义要求(如数值满足某范围或者非空)。

在数据库中设置较多的约束会在一定程度上影响数据库的性能，真实环境很少应用，更多是放到程序逻辑中去进行处理，有可能在面对业务变更或是系统扩展时，数据库约束会使得处理不够方便。

基于上述分析，结合政务服务系统应用场景，如何实现数据导入的完整性校验，并提升数据的可靠性和系统可用性，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供数据导入校验方法、系统、装置及计算机可读介质，来解决如何实现数据导入的完整性校验，并提升数据的可靠性和系统可用性的技术问题。

第一方面，本发明的数据导入校验方法，包括如下步骤：

S100、配置基本约束和关联约束，所述基本约束用于对单表中字段进行约束，所述关联约束与Es搜索引擎配合，用于基于关联表之间的表结构关系确定所述关联表在Es搜索引擎中的索引关系，并根据索引关系将表数据依序导入Es搜索引擎中；

S200、基于基本约束和管理约束构建数据校验模型，在Es搜索引擎中建立与所述数据校验模型对应的物理索引，并同步生成与所述数据校验模型对应的excel模板文件，所述数据校验模型能够导出excel文件并能够对excel文件保存导入使用，所述excel模板文件用于填写数据并导入对应的数据校验模型；

S300、将数据填写至excel模板文件，得到待检验excel文件，并将待检验excel文件导入对应的数据校验模型进行基本约束和关联约束，将待检验excel文件中符合约束的excel数据保存至Es搜索引擎，将待检验excel文件中不符合约束的excel数据作为失败数据保存并提示检测失败原因；