[发明专利]一种数据质量校验方法、装置、系统

说明书

本申请实施例公开一种数据质量校验方法、装置、系统，方法包括：获取数据库中预保存的配置文件；其中，配置文件包括校验表、被校验表、校验表和被校验表的字段之间的对应关系；判断校验表和被检验表的数据来源，按照与不同类型的数据源对应的加载方式加载校验表和被校验表的字段数据；对加载后的字段数据进行校验。本申请为不同的数据源设计了不同的数据加载方式，从而加载得到不同类型的数据源的数据，进而可以实现复杂数据源、复杂数据源中复杂数据类型的数据质量完整性、一致性校验，打破了不同数据源之间数据校验的壁垒；此外，本申请通过分片限流的方法解决了当大数据量读取关系型数据库时造成的内存溢出、数据库抽数压力大的问题。

技术领域

本发明属于计算机技术领域，尤其涉及一种数据质量校验方法、装置、系统。

背景技术

数据如同矿石，质量好才能打造好的产品。数据质量是指数据值的质量，通常由完整性，一致性，准确性，及时性来评估数据质量的好坏。数据质量差会浪费资源并且得到相反的结果。因此，对于数据质量校验非常重要。然后，在数据质量校验方面，业内一直处于摸索阶段，数据的完整性、一致性通常存在于理论阶段或者仅仅对单一数据源的、少量的数据进行完整性和一致性校验。由于现在处于数据爆发的时代，大数据场景复杂多样，现有校验方法已经无法满足需求。

发明内容

为了解决现有技术的问题，本发明提出了一种数据质量校验方法、装置、系统，本方法可以对多源数据、大数据量进行完整性和一致性校验，克服现有技术中只能对单一数据源、少量数据进行校验的难点。

本发明实施例提供的具体技术方案如下：

第一方面，本发明提供一种数据质量校验方法，所述方法包括：

获取数据库中预保存的配置文件；其中，所述配置文件包括校验表、被校验表、所述校验表和被校验表的字段之间的对应关系；

判断所述校验表和被检验表的数据来源，按照与不同类型的数据源对应的加载方式加载所述校验表和被校验表的字段数据；

对加载后的字段数据进行校验。

优选的，所述方法还包括：

若所述数据源为关系型数据库，对所述校验表和被校验表的字段数据进行分页处理并根据预创建的多个分片分别加载与所述分片相对应的分页的数据。

优选的，若所述数据源为关系型数据库，对所述校验表和被校验表的字段数据进行分页处理并根据预创建的多个分片分别加载与所述分片相对应的分页的数据具体包括：

分别计算所述校验表的字段数据和所述被校验表的字段数据的数据量；

将所述字段数据进行分页处理；

创建包括至少两个分片的弹性分布式数据集；

将获取到的连接信息进行封装并广播至所述各个分片；

根据所述连接信息，在所述分片中加载对应分页的数据。

优选的，所述校验为完整性校验；所述配置文件还包括定时任务配置信息；

所述按照与不同类型的数据源对应的加载方式加载所述校验表和被校验表的字段数据包括：

按照与不同类型的数据源对应的加载方式全量加载所述被校验表的字段数据；

若为首次加载或者修改后首次加载，按照与不同类型的数据源对应的加载方式定时全量加载所述校验表的字段数据；

若为非首次加载，按照与不同类型的数据源对应的加载方式定时增量加载所述校验表的字段数据。

优选的，所述对加载后的字段数据进行完整性校验包括：

若所述校验表的字段数据为定时全量加载，则：