[发明专利]基于校验的数据质量控制方法和装置

说明书

本发明公开一种基于校验的数据质量控制方法和装置，所述方法包括：获取全量数据；读取所述全量数据对应的校验参数表，通过组合校验逻辑生成第一校验规则集；以所述第一校验规则集对所述全量数据进行校验，得到第一结果集；将所述第一结果集内的校验错误信息对应的数据记录存放至错误库；响应所述过滤操作指令，读取所述错误库中的数据记录和所述校验参数表中的校验类型参数，确定对应于确定性校验的数据记录，生成确定性错误库；以所述确定性错误库筛选所述全量数据，将经过所述筛选的全量数据作为报送库的数据。本发明提供的技术方案，能够很好的适用于时效性要求高、数据量大以及校验规则复杂的系统。

技术领域

本发明涉及软件技术领域，尤其涉及一种基于校验的数据质量控制方法和装置。

背景技术

传统的校验方式在处理复杂的校验规则时，通常采用的方案是人工校验或逐条校验。人工校验是指让熟悉系统校验规则的维护人员根据数据情况自行补录，也就是靠人力进行数据错误排查，对人力维护的人员要求较高。逐条校验则是指将每条校验规则逐条单独写入程序，要求开发人员将全部校验规则转换成代码语句写在程序中，从而实现校验规则相对复杂的数据质量控制。

而人工校验对维护人员的要求很高，必须非常熟悉每条校验规则，且工作量极大，效率较低，也无法保证最终数据的准确性，常常出现需要返工的情况，排错难度高。另一方面，采用逐条校验的系统运行效率非常低，每次校验都是一次数据表读写操作，IO开销大，反应速度慢，无法实现校验结果的及时反馈，对于开发人员来说也更加困难，需要进行大量的重复劳动，误码率高，也影响最终数据的准确性。

因此，现有的技术中，都存在效率低和数据校验的准确率低，从而无法有效对数据质量进行控制的问题，从而无法适用于时效性要求高、数据量大以及校验规则复杂的系统。

发明内容

有鉴于此，本发明提供了一种基于校验的数据质量控制方法和装置，能够有效解决现有技术中存在的效率低和数据校验的准确率低，从而无法有效对数据质量进行控制的问题，能够很好的适用于时效性要求高、数据量大以及校验规则复杂的系统。

为实现上述目的，本发明提供如下技术方案：

一种基于校验的数据质量控制方法，包括：

获取全量数据，所述全量数据包括数据记录；

读取所述全量数据对应的校验参数表，通过组合校验逻辑生成第一校验规则集；

以所述第一校验规则集对所述全量数据进行校验，得到第一结果集；

将所述第一结果集内的校验错误信息对应的数据记录存放至错误库；

获取过滤操作指令；

响应所述过滤操作指令，读取所述错误库中的数据记录和所述校验参数表中的校验类型参数，确定对应于确定性校验的数据记录，生成确定性错误库；

以所述确定性错误库筛选所述全量数据，将经过所述筛选的全量数据作为报送库的数据。

进一步的，读取所述全量数据对应的校验参数表，通过组合校验逻辑生成第一校验规则集，包括：

读取所述全量数据对应的位于校验参数表中的校验标识号、校验信息描述、校验目标表、校验目标字段、校验语句配置和校验开关，通过组合校验逻辑生成第一校验规则集。

进一步的，所述全量数据包括数据项标准列，所述以所述第一校验规则集对所述全量数据进行校验，得到第一结果集，包括：

以所述第一校验规则集对所述全量数据进行校验，得到包括数据项标准列、校验标识号和校验状态的第一结果集；所述校验状态包括校验正确信息和校验错误信息。

进一步的，所述将所述第一结果集内的校验错误信息对应的数据记录存放至错误库，包括：