[发明专利]一种基于Redis的智能电网采集监测数据存储方法

说明书

技术领域

本发明涉及智能电网的数据存储方法，特别是涉及一种基于 Redis的智能电网采集监测数据的存储方法。

技术背景

智能电网采集监测数据是电网应用中十分重要的数据，作为智能电网四大数据类型的重要组成部分，是智能电网用电信息采集、设备状态监测、辅助决策分析、离线挖掘分析等的重要基础。当前，智能电网采集监测数据存储的主要特点：(1)采集监测数据量大，存储周期跨度长；(2)数据格式固定；(3)数据加载吞吐量要求高；(4)访问模式以断面查询和批量查询为主；(5)对于数据存储稳定性要求高； (6)历史数据规模不断增大，应用的丰富性和互动性不断增强，对历史数据的访问需求越来越高。

针对智能电网采集监测数据过程中出现的以上问题，本发明提出了一种基于Redis的智能电网采集监测数据分布式Key-Value存储方法，可以大幅提升采集监测数据的加载和访问性能，同时保证系统的可靠性。

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。

发明内容

一种基于Redis的智能电网采集监测数据存储方法是：(1)根据量测点的时标和业务模型设计存储单元；(2)根据采集监测点规模、数据采集频率，设计数据分片机制；(3)采用LZF算法对数据库存储文件进行压缩；(4)采用RDB技术提升数据加载可靠性。该方案主要包括以下关键技术点：

(1)采集监测数据存储模型

本方法基于Redis的Key-Value存储结构，设计断面数据的Key 结构为<YMDHMS>，ValueList结构为<CC+DT+Cid+MT、Value>，设计批量数据的Key结构为<CC+DT+Cid+MT>，ValueList结构为< YMDHMS、Value>，其中CC为地市编码，DT为变电站及电网模型信息编码组合，YMDHMS为年月日时分秒，MT为采集监测点类型，MID为设备编码，Value为采集监测点采样值。

数据模型：

具体的存储模型如图1所示。

(2)自适应分片策略

本方法通过对存储模型Key进行散列的方式建立数据分片策略，该策略能够将数据分散到若干主机的Redis实例上，进而扩展集群的存储能力和计算能力。在数据加载时，首先对Key进行hash算法，根据hash值分配到不同的机器上，通过hash值控制数据分片分布。

(3)数据文件LZF压缩算法

LZF压缩算法采用混合编码，用于Redis实例的RDB文件的压缩。经过实验证明，LZF压缩算法在处理数据文件不断增大时，压缩比例、压缩耗时、解压耗时均相当稳定。

(4)RDB技术

为了保证数据加载的可靠性，本方法采集RDB技术，即在指定的时间间隔内生成数据集的时间点快照。数据记录的加载过程：首先通过配置指定时间跨度和Key值变更次数两个触发持久化快照的阈值，Redis实例运行过程中，根据设定的时间跨度和Key值变更次数触发生成快照文件，当集群运行过程中出现断电、网络断开及崩溃等异常时，重新扫描快照文件实现将内存中未成功写入数据存储文件的那部分数据重新加载。由于RDB快照是通过fork产生子进程生成的，因此主进程不会有相关的I/O操作，数据处理效率是可以得到保证的。

(5)部署在硬件上的实施效果

以下将以某省份用电信息采集系统采集监测数据的实例来描述本方法的具体实施方式，并采用Key-Value数据库Redis实现上述分布式模型。