[发明专利]一种基于HBase的电网历史数据集中存储方法

说明书

本发明公开了一种基于HBase的电网历史数据集中存储方法，属于电力系统数据库技术领域。本发明包括遥测数据采集定义步骤、遥测数据采集步骤及遥测数据存储步骤，遥测数据采集定义步骤确定遥测数据来源及数据采集周期，遥测数据采集步骤从指定的数据源按周期抽取历史数据形成历史数据文件，实现遥测历史数据的统一收集，遥测数据存储步骤将抽取的历史数据存储到HBase数据库中实现遥测历史数据的集中存储。本发明实现了全网范围内的历史数据自动分布式收集功能，基于HBase数据库特点解决海量历史数据集中存储问题，与传统基于关系数据库的历史数据存储相比，在百万级数据量前提下具有更稳定的写入和查询性能，为后续基于历史数据的深度数据应用提供数据基础。

技术领域

本发明属于电力系统数据库技术领域，更准确地说，本发明涉及一种基于HBase的电网历史数据集中存储方法。

背景技术

随着特高压大电网的发展，以及互联电网的运行和智能电网技术的推广应用对调度运行管理和电网运行数据的综合运用提出更高要求，各级调度中心纷纷开展了相关数据中心的研究工作，包括模型数据中心、运行数据中心、实时数据中心。其中，运行数据中心需要管理全网历史数据和告警数据的收集、存储以及查询，因此运行数据中心首先需要解决数据收集问题，然后解决海量数据的集中存储和快速查询问题。但是传统的基于关系数据库的历史数据存储很难解决上述问题。

HBase(Hadoop Database)是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。如能基于HBase构建一种电网历史数据集中存储方法，显然能够有效解决上述数据收集问题及海量数据的集中存储和快速查询问题。

发明内容

本发明目的是：针对现有技术的不足，提供一种基于HBase的电网历史数据集中存储方法。该方法能够在不影响当前在运调度自动化系统实时运行的基础上，实现全网范围内历史数据的统一收集和集中存储，进一步整合全网范围内历史数据，为后续基于历史数据的深度数据应用提供数据基础。

具体地说，本发明是采用以下技术方案实现的，包括遥测数据采集定义步骤、遥测数据采集步骤及遥测数据存储步骤，其中，

所述遥测数据采集定义步骤获取数据中心已定义遥测数据和已配置数据源，确定遥测数据和来源及数据采集周期；

所述遥测数据采集步骤从指定的数据源按周期抽取历史数据形成历史数据文件，实现遥测历史数据的统一收集；

所述遥测数据存储步骤将抽取的历史数据存储到HBase数据库中，实现遥测历史数据的集中存储。

上述技术方案的进一步特征在于，所述遥测数据采集定义步骤具体为：

首先从数据中心系统关系数据库中获取全网遥测数据信息，所述全网遥测数据信息包括唯一标识ID、遥测名称及所属应用，然后读取数据中心系统中已配置数据源信息，所述数据源信息包括数据源编号及数据源名称，最后创建遥测数据与数据源数据对应关系确定遥测数据的数据来源及采集周期，最终在关系数据库的遥测数据采集定义表中创建一条记录；

所述数据中心系统是一个独立于实时运行电网调度自动化系统的、具有独立软硬件配置的用于对全网电网调度自动化系统产生的模型数据及历史数据进行有机整合和统一管理的系统；

所述唯一标识ID是指电网调度自动化系统中模型标识，其采用分段标识方式，包括模型对象号、数据源编号、量测类型编号及顺序记录号；

所述数据源是指某一电网调度自动化系统，在全网区域内的所有调度自动化系统预先分配唯一数据源编码和数据源名称，为遥测数据指定数据源，指明相关遥测历史数据从哪个调度自动化系统抽取数据。

上述技术方案的进一步特征在于，所述遥测数据采集步骤具体为：