[发明专利]一种电力数据应用场景的数据治理系统

权利要求书

1.一种电力数据应用场景的数据治理系统，其特征在于，包括；

数据接入平台：用以接入源系统数据，所述源系统数据包括结构化数据、日志数据、IOT数据和文件数据；

数据仓库平台：用以临时存储并清洗所述源系统数据为遵循数据库第三范式的数据进行分层存储，并支持复杂的分析操作，为所述数据治理平台提供查询结果；

数据治理平台：用以抽取符合业务要求的样例数据，指定数据质量校验规则，并建立数据血缘关系，为异常数据查询源系统数据。

2.根据权利要求1所述的一种电力数据应用场景的数据治理系统，其特征在于，所述数据仓库平台包括：

临时存储层：用以临时存储所述源系统数据；

数据仓库层：用以清洗所述源系统数据为遵循数据库第三范式的数据并存储；

数据集市层：用以重新组织并汇总所述数据仓库层的存储数据，用以数据的快速查询、访问和分析；

应用层：用以为所述数据集市层的一个真子集，用以为满足具体的分析需求而构建的数据。

3.根据权利要求2所述的一种电力数据应用场景的数据治理系统，其特征在于，所述数据仓库层的数据粒度与所述临时存储层的数据粒度相同，所述数据集市层的数据粒度比所述数据仓库层的数据粒度粗。

4.根据权利要求1所述的一种电力数据应用场景的数据治理系统，其特征在于，所述数据治理平台包括：

基于多模型的数据抽样技术模块：用以从数量上以部分推算总体，并利用概率论和数据统计原理确保推算结果的可靠程度；

基于校验规则的数据质量分析模块：用以为每个关键字段选择与所述关键字段的数据质量管理需求相匹配的数据质量管理维度以及测量指标的计算方法；

数据血缘分析模块：用以追溯异常数据的源系统数据。

5.根据权利要求4所述的一种电力数据应用场景的数据治理系统，其特征在于，所述基于多模型的数据抽样技术模块的抽样方法包括简单随机抽样、系统抽样、分层抽样、整群抽样、便利抽样、配额抽样、判断抽样和雪球抽样。

6.根据权利要求4所述的一种电力数据应用场景的数据治理系统，其特征在于，所述基于校验规则的数据质量分析模块包括：

指标关联分析单元：用以定性定量分析基准指标和备选个体指标的关联关系，选取显著影响基准指标波动的个体指标，确定获选个体指标指数计入总体指数的权重；

指标时序数据预处理和趋势预测单元：用以对数据缺失严重、异常奇点繁多的时序数据进行修补，根据基准指标的时序数据对计入总体指数的个体指标的时序数据执行标准化处理；

指数模型构建单元：用以构建扩散指数、合成指数、预测指数、监测指数、信心指数等各类指数模型。

7.根据权利要求1所述的一种电力数据应用场景的数据治理系统，其特征在于，所述数据血缘分析模块包括：

数据血缘采集单元：用以采集原始数据；

数据血缘解析单元：用以将数据血缘采集单元采集后的数据进行解析、关系连接和识别，并转换为血缘数据进行存储；

数据血缘展现单元：用以将所述血缘数据图形化展现；

数据血缘应用单元：用以反映实体对象之间的数据流关系路径和数据流向链路，为异常数据寻找对应的源系统数据。

8.根据权利要求7所述的一种电力数据应用场景的数据治理系统，其特征在于，所述原始数据的来源包括数据抽取、元数据采集、ETL转换和日志采集。

9.根据权利要求7所述的一种电力数据应用场景的数据治理系统，其特征在于，所述数据血缘解析单元通过从对象级血缘解析、字段级血缘解析和任务级血缘解析对数据血缘采集单元采集后的数据进行解析。

10.根据权利要求7所述的一种电力数据应用场景的数据治理系统，其特征在于，所述数据血缘展现单元以大数据可视化图表的方式进行展现。