[发明专利]一种基于办事事项数据供需图谱梳理数据质量规则的方法

说明书

本发明公开了一种基于办事事项数据供需图谱梳理数据质量规则的方法，步骤包括：构建政务数据图谱本体模型；构建数据供需关系图谱；设置需要梳理的数据元集合，计算集合中数据元与供需关系图谱中办事事项的先后顺序依赖关系图；根据办事事项的先后顺序依赖关系图，得到数据元的先后顺序依赖关系图；根据所述数据元的先后顺序依赖关系图生成数据质量规则。本发明自动或者半自动的梳理形成数据元清单和数据质量规则，从而减少人工梳理的工作量，并且减少数据遗漏的可能性。

技术领域

本发明涉及数据质量规则的生成方法，特别是一种基于办事事项数据供需图谱梳理数据质量规则的方法。

背景技术

目前绝大多数结构化数据的质量管理系统的功能架构如下描述：据质量管控体系的目的，是及时发现、定位和解决各类数据质量问题，确保数据质量的稳定可靠，负责对数据质量进行全流程监控和管理。

其中数据质量规则的内容包括：

采集规则：采集程序规则是数据质量管理子系统抽取所需数据质量信息的算法和规则。

监控规则：监控规则是数据质量管理子系统对采集过来的质量数据进行质量指标检测的校验规则。

告警规则：告警规则是监控规则执行后，出现违反规则允许范围的异常时，发送告警信息的方式方法，包括告警方式规则和告警订阅规则两部分。

针对上述数据质量的监控规则的定义，往往需要投入大量的人力进行梳理，并且要求参与梳理的技术人员的业务知识非常丰富，熟知政务领域的专业知识，耗费的人力成本巨大。

现在的各个省或者地市的大数据中心，会将各个业务部门的数据进行汇集，进行整合加工，形成其他部门需要使用的数据。但需要对从各个部门汇集的数据进行数据质量监控。但是如何得到数据质量监控的依据——数据质量规则，往往从各部门汇集的数据是海量的，数据表和字段繁多，需要耗费巨量的人力成本。

典型的做法是分为几个步骤

第一步：针对某个细分主题，梳理相关的政务业务，普查出该主题下的数据清单，细化到具体的数据表。并且分析出这些数据的业务含义，来源部门。例如“自然人死亡”主题，需要梳理公安、民政、法院等部门相关的业务，才能够得到 “自然人死亡”主题的数据表和清单。

第二步：根据业务含义，梳理每个数据表字段的数据类型、数据格式、值域等，形成数据元清单列表，作为数据的技术类质量要求的依据。

生成死亡专题库数据元目录表。此时可以依据格式和值域，来生成技术类的质量规则。

第三步：根据业务含义，梳理每个数据数据元之间的业务约束关系，形成业务类的质量要求的依据。

此时分为三类规则信息，

1、数据元之间的约束关系，结果要求符合某类表达式。

2、对数据元对应的取值进行统计分析，结果要求符合某个表达式。

3、对多个数据元对应的取值做运算，进行统计分析，结果要求符合某个表达式。

4、但个数据元必须符合某类取值规则。

针对上述描述中的数据元，其命名、值域定义、格式类型等遵从如下规则：

数据元命名规则具体内容参见GB/T 19488.1-2004《电子政务数据元 第1部分：设计和管理规范》。举例说明如下：

a) 唯一性

规则1：在一定语境下，数据元的名称应该唯一，名称中包含对象词、特性词、表示词和限定词几个要素。

示例：数据元“公民出生地省市县代码”中，“公民”是对象词，“出生地省市县”是特性词，“代码”是表示词。