[发明专利]一种基于智能电网WAMS的时序大数据存储方法

说明书

技术领域

本发明属于实时数据库技术领域，主要涉及智能电网WAMS的时序大数据 存储方法。

背景技术

随着智能电网技术的不断发展，作为智能电网重要支撑的“广域监测系统 (WideAreaMeasurementSystem,WAMS)”成为当前研究的热点。电网广域监测 系统是通过布局在全网关键节点的同步相量测量单元(PhasorMeasurementUnit, PMU)，实现全网的动态监测与控制。

当前，智能电网WAMS主要有以下特点：(1)布局在全网的监测节点数量 越来越多；(2)监测节点数据的实时性要求较高，数据产生周期为几十毫秒级； (3)对于系统的稳定性要求较高；(4)历史时序数据量规模越来越大，应用的 丰富性和互动性不断增强，对历史数据的访问需求越来越高。而常规的数据存 储方法并不能良好地适用于智能电网WAMS之中。因此，有必要针对智能电网 WAMS，设计一种与其特点相适应的数据存储方法。

发明内容

本发明目的是：针对智能电网WAMS时序数据的特征，提供一种能够满足 于智能电网WAMS场景的时序大数据快速加载查询且具有高可靠的存储方法， 解决智能电网WAMS量测节点规模大、数据产生频率高的时序数据的高速加载 问题，为实现以时间维度(多个量测节点，在一个时刻上的数据集合)断面数 据的快速查询提供基础。

具体地说，本发明是采用以下技术方案实现的，包括以下步骤：

1)根据WAMS场景建立相应的键-值存储模型作为数据模型；

2)以每秒钟每一个测点创建一个存储单元，存储单元的长度根据WAMS 数据的采样频率设置；

3)在数据加载过程中采用预写日志技术，首先将数据以日志形式顺序写入 磁盘，然后再将数据加载至内存进行存储操作；

4)对数据中值进行压缩，而键保持不变；

5)根据加载数据的规模、加载频率，对数据进行分库。

上述技术方案的进一步特征在于，所述键-值存储模型，其键的结构为<时间 戳，测点id>，值的结构为<质量码数组，数据值数组>，表示如下：

Key＝<timestamp,id>

Value＝<status[UnitLength],valueItem[UnitLength]>

其中，Key代表键，timestamp,代表时间戳，Value代表值，UnitLength代表 存储单元的长度，status[UnitLength]为质量码数组，valueItem[UnitLength]为数据 值数组；

Key的排序方式为：以时间戳优先排序，其次按测点id排序，时间戳与测 点id均采用增序排序；

Value的质量码数组与数据值数组采用一一对应关系，且质量码数据与数据 值数组的数据元素按照时间顺序存储。

本发明的有益效果如下：本发明采用键-值存储模型，符合聚簇思想，每个 测点每一秒钟建立一个存储单元，从而减少冗余数据的存储；同时采用数据压 缩，减少磁盘I/O，进而提升数据加载性能。根据数据测点规模、数据产生频率， 建立灵活数据库分库机制，提升数据查询效率。采用预写日志技术，当系统异 常崩溃时，可通过日志文件快速恢复数据，提升系统的可靠性。

附图说明

图1是键-值存储模型示意图。

具体实施方式

下面结合实施例并参照附图对本发明作进一步详细描述。

本发明的步骤如下：

1)根据WAMS场景建立相应的键-值(K-V，Key-Value)存储模型作为数 据模型。图1给出了K-V存储模型示意。其中的符号含义为：timestamp，存储 单元的时间戳，精度到秒级；id，测点id(量测量的惟一标识)；status，存储单 元的数据质量码数组；valueItem，存储单元的数据值数组；unitLength，存储单 元长度。由该图可知，K-V存储模型中key的结构为<时间戳，测点id>，value 的结构为<质量码数组，数据值数组>。