[发明专利]一种数据质量检核方法、系统、设备及可读存储介质

说明书

本发明公开了一种数据质量检核方法，包括：设置质量检核规则及数据权重规则；将质量检核规则与数据分区进行关联；判断数据分区是否有更新数据输入，判断为是，根据数据分区对应的质量检核规则对更新数据进行检核处理，生成检核结果；根据质量检核规则及数据权重规则计算检核结果的质量权重值；判断质量权重值是否大于预设警报值，判断为是，发送质量警报信息及检核结果，并根据质量处理结果进行二次警报处理，判断为否，对数据分区进行更新处理并发送检核结果。相应地，本发明还公开了一种数据质量检核系统、设备及可读存储介质。采用本发明，可对数据分区的源数据或更新数据进行量化的质量检核，并对数据质量问题进行警报及跟进督促。

技术领域

本发明涉及数据库技术，尤其涉及一种数据质量检核方法、系统、设备及可读存储介质。

背景技术

基于高校现有的数据质量检核，目前采用的技术方法是采用六大质量检核纬度，包括一致性、完整性、准确性、规范性、时效性、关联性等方面，去保障数据质量检核多角度达标。

在现有的高校共享数据中心架构中，数据统一由各个业务部门业务系统采集至数据中心前置节点，在此基础上将数据汇入共享数据中心，通过数据中心进行数据质量检核处理，从而提高学校业务数据质量。

但是，此种做法对数据质量保障仍有部分安全风险存在。在以往的经验中，数据的安全、可靠依赖于业务部门正确的生产、使用和维护数据。在这个过程中，存在着业务部门对数据误操作的风险，而系统并没有提供相应的数据安全保障机制，一旦出现大规模数据的误操作，将严重影响数据中心前置节点数据安全和可靠，进而严重影响共享数据中心整体数据质量。

另外，现有技术还存在以下缺点：

(1)无法对源数据进行质量监控。现有的技术方案是先形成数据标准，再进行数据质量检测，质量检核规则需严格符合数据标准，且质量规则也只适用于标准数据，无法对来源于业务系统的原生数据进行直接检测。

(2)数据入库规则不清晰，对数据入基础层、集市层的规则不清晰，导致无法保障入库的数据符合相应质量要求。数据入库规则无法量化，需要人工介入，无法做到自动入库。

(3)对更新数据缺乏质量验证，无法确保数据更新不出错。现有数据质量检核缺乏对更新后的数据进行检测，无法验证更新过程是否符合规范。

(4)数据问题责任不清晰，缺乏线上处理流程。数据进行转换、加工、清洗后，数据责任方不清晰，也无法对质量问题进行线上统一管理、跟进质量问题。

发明内容

本发明所要解决的技术问题在于，提供一种数据质量检核方法、系统、设备及可读存储介质，可对数据分区的源数据或更新数据进行量化的质量检核，并对数据质量问题及时警报和跟进督促。

为了解决上述技术问题，本发明提供一种数据质量检核方法，包括：设置质量检核规则及数据权重规则；将质量检核规则与数据分区进行关联；判断数据分区是否有更新数据输入，判断为是，根据数据分区对应的质量检核规则对更新数据进行检核处理，生成检核结果；根据质量检核规则及数据权重规则计算检核结果的质量权重值；判断质量权重值是否大于预设警报值，判断为是，向更新数据的数据提供方发出质量警报信息及检核结果，获取数据提供方的质量处理结果，根据质量处理结果进行二次警报处理，判断为否，根据更新数据对数据分区进行更新处理，并向数据提供方发送检核结果。

作为上述方案的改进，设置质量检核规则及数据权重规则的步骤包括：对每个质量检核规则设置规则权重值；对数据权重规则中每个数据项设置对应的数据权重值。

作为上述方案的改进，根据质量检核规则及数据权重规则计算检核结果的质量权重值的步骤包括：判断检核结果中是否有数据项未通过任一质量检核规则的检核，判断为是，逐一计算数据项的质量权重值W_Q，并以所有数据项的质量权重值作为检核结果的质量权重值：