[发明专利]一种面向电网运行的全息时标量测数据萃取转换方法

说明书

技术领域

本发明属于数据库技术领域，更准确地说本发明涉及一种面向电网运行的全息时标量测数据萃取转换方法。

背景技术

随着电网建设规模的不断扩大，智能电网、智能变电站等研究应用的不断深入，调度自动化系统面对的采集点越来越多。与以往地区调度自动化系统显著不同的是，大型地区电网调度自动化系统面临的数据采集规模急剧上升，个别地区将达到上百万采集点的规模，数据存储规模将从目前的GB级转向TB级。此外，随着调度自动化水平的不断提高，各业务系统对调度自动化系统提出了更高的要求，以往低频率按照分钟级的历史数据存储已经很难满足电网精细化管理的要求，而全息保存电网运行所有细节已成为大势所趋，原有的周期性历史数据保存方式已不能满足要求，应按照变化的实际时间序列连续进行存储，以满足更多的应用需求，这也将导致数据存储规模数十倍的增长。同时，历史数据的存储组织策略以及查询检索策略也将变得相当复杂。传统的关系数据库无论在响应速度、存储规模、查询效率和变化存储机制上都将很难满足应用的需求。近几年来，动态信息数据库（又称时间序列数据库）在电网中的集成应用使得高精度采样并全息记录电网运行过程中带有时标的数据成为可能。

然而，全息时标量测数据存在总体规模庞大、质量参差不齐、数据本身缺乏对模型的描述等诸多问题。因此，亟需一种数据萃取方法及工具，能够对海量全息时标量测数据进行抽取和清洗，降低数据总体规模，提升数据质量，同时和存储于关系型数据库中的电网模型以及其他各类业务数据进行集成，形成面向各类应用的数据集市，为后续包括数据挖掘、辅助决策、多业务集成、可视化展示在内的多个高级应用奠定基础。

发明内容

本发明的目的是：弥补现有技术的不足，提供一种面向电网运行的全息时标量测数据萃取转换方法，保证数据能够按照预期的方式正确地进行抽取、转换和加载到动态信息数据库中，同时和存储于关系型数据库中的电网模型以及其他各类业务数据进行集成。

具体地说，本发明是采用以下的技术方案来实现的，包括下列步骤：

1）全息时标量测数据的抽取：从多数据源中读取源数据中的元数据、接入数据和抽取数据；

2）全息时标量测数据的转换：依照数据库约束和业务逻辑，通过数据清洗、数据转换将步骤1）中抽取的数据协调为统一格式，以满足动态信息数据库的数据模型和数据质量的需要；

3）全息时标量测数据的加载：将转换完的全息时标量测数据按照目标数据模型定义的数据结构加载到动态信息数据库中，对不同业务系统的数据采用不同的加载周期，同时采用多线程并行处理方式加载数据以提高程序运行效率；

4）将加载到动态信息数据库中的全息时标量测数据和存储于关系型数据库中的电网模型以及其他各类业务数据的集成，形成数据仓库，应用服务器通过获取数据仓库中的数据为上层应用提供数据支撑。

上述技术方案的进一步特征在于，所述步骤1）具体包括以下过程： 

1-1）读取每一个数据源资源层中的全息时标量测数据元模型；

1-2）通过远端抽取元模型对数据进行抽取处理，所述远端抽取元模型由抽取核心、日志模块和抽取配置元数据构成，抽取核心读取抽取配置元数据的参数设置，根据相应设置从远端数据源表中抽取目标数据，抽取方式分为全量抽取和增量抽取两种，抽取配置元数据由需要抽取的表名、字段、类型、数据库连接信息、抽取数据时间信息组成，日志模型用来纪录抽取处理的日志；

所述全量抽取是指根据抽取的字段和抽取的规则将数据源端的指定数据字段的全部数据都抽取出来；所述增量抽取是指全量抽取完成后在后续的抽取过程只抽取自上次抽取源表中新增或被修改的数据；

1-3）通过传输元模型将抽取的数据从远端传输到中心端；

1-4）将传输到中心端的数据缓存到异构临时存储区。

上述技术方案的进一步特征在于，所述增量抽取基于调度业务系统的时间戳实现，通过比较指定抽取时间与抽取源表的时间戳字段的值来决定抽取哪些数据。

上述技术方案的进一步特征在于，所述步骤2）中的数据转换包括不一致数据转换、参照转换、字符串处理、直接映射、日期转换、日期运算、空值判断、聚集运算和/或既定取值。

上述技术方案的进一步特征在于，所述步骤3）中，在全息时标量测数据的加载时对新产生的实时数据变化进行实时捕获，并根据量测数据质量码进行正常设备采集数据、越限数据的定位与捕捉，滤除人工置位产生的数据变化。