[发明专利]一种数据质量管理方法及系统

说明书

本发明公开了一种数据质量管理方法及系统，该方法包括：对数据观测指标进行配置，获得指标配置表，其中，数据观测指标表征数据报送中的关注点；对指标配置表中的指标配置信息，对数据观测指标进行计算获得指标值，并根据指标值在预设时间范围内的变化数据，生成指标数据质量报告；确定监管报送数据的主题，对每个主题进行数据分析，获得主题化的数据质量报告；根据指标值，确定预警阈值，对数据观测指标进行预警处理，获得预警信息；根据指标数量质量报告、主题化的数据质量报告和预警信息，生成数据质量监控分析报告。通过本发明实现了提高数据报送质量和对数据质量的监控的准确性。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据质量管理方法及系统。

背景技术

在金融机构的某些申报系统中，由于这些申报系统通常会面向外管局、人民银行等监管机构，报送监管系统。随着监管机构对于数据质量要求的不断提升，原有的上游采集加报送的模式，已经逐渐无法应对监管机构的监管压力。一些银行的总行和分行的业务部门也反馈系统内数据越来越多，监管压力日益增大。

在现有对数据进行监控的过程会使用数据质量监控分析工具，基于该工具产生的结果数据是以报表的形式实现的，即以表格的形式展示数据情况，并且在数据预警方面，预警阈值大多依赖于业务部门人工参数维护。由于数据以表格形式展现，使得数据可读性较差，并且基于人工设置的预警阈值，会降低数据预警的准确性和时更性较差的问题，从而降低数据报送质量。

发明内容

针对于上述问题，本发明提供一种数据质量管理方法及系统，实现了提高数据报送质量和对数据质量的监控的准确性。

为了实现上述目的，本发明提供了如下技术方案：

一种数据质量管理方法，该方法包括：

对数据观测指标进行配置，获得指标配置表，其中，所述数据观测指标表征数据报送中的关注点；

对所述指标配置表中的指标配置信息，对所述数据观测指标进行计算获得指标值，并根据所述指标值在预设时间范围内的变化数据，生成指标数据质量报告；

确定监管报送数据的主题，对每个主题进行数据分析，获得主题化的数据质量报告；

根据所述指标值，确定预警阈值，对所述数据观测指标进行预警处理，获得预警信息；

根据所述指标数量质量报告、所述主题化的数据质量报告和所述预警信息，生成数据质量监控分析报告。

可选地，所述对数据观测指标进行配置，获得指标配置表，包括：

获取数据报送中的关注点，将所述关注点定义为数据观测指标；

根据各个关注点之间的关联关系，确定各个数据观测指标之间的指标依赖关系；

对所述指标依赖关系进行校验，获得满足校验条件的指标依赖关系；

根据所述数据观测指标和校验后的指标依赖关系，对所述数据观测指标进行配置，获得指标配置表。

可选地，所述对所述指标配置表中的指标配置信息，对所述数据观测指标进行计算获得指标值，并根据所述指标值在预设时间范围内的变化数据，生成指标数据质量报告，包括：

对所述指标配置表中的指标配置信息进行解析，获得指标运算模式；

判断所述指标配置表中是否存在待运算指标，如果是，则确定与所述待运算指标相匹配的指标运算模式；

根据与所述待运算指标相匹配的指标运算模式，对所述待运算指标进行汇总计算，获得指标值；

根据所述指标值在预设时间范围内的变化数据，生成指标数据质量报告，其中，所述指标数据质量报告用于对数据观测指标的相关数据进行可视化展示。