[发明专利]一种在REDIS上实现的存储大量时序数据的方法

摘要

本发明公开了一种在REDIS上实现的存储大量时序数据的方法，该方法包括：基于Redis的SDS数据结构实现Gorilla压缩算法；基于Redis对象“redisObject”实现时间序列存储对象“TimeSeries”用来管理一个时间序列相关数据的存储；将时序数据的键值经过压缩后存储到Redis字典中；在Reids中实现基于时序数据对象的CRUD操作。本发明的有益效果：首先Redis时序数据存储方法可实现快速写入，单点插入可实现每秒20,000条；其次，借鉴Gorilla压缩算法的基础上将时序数据压缩存储到Redis中，节省了存储空间，从而节省成本；最后，Redis时序数据存储方法每秒能存储千万级的数据，并能毫秒级返回基于这些数据的查询，减少网络卡顿、网络延迟情况。

主权项

1.一种在REDIS上实现的存储大量时序数据的方法，其特征在于，包括以下步骤：S1 基于Redis的SDS数据结构实现Gorilla压缩算法：首先实现基础的数据流对象“timeSeriesStream”，然后基于Gorilla算法先对插入数据进行压缩运算，将结果以二进制的形式插入的SDS数据结构中，创建iterator数据结构；S2基于Redis对象“redisObject”实现时间序列存储对象“TimeSeries”，“TimeSeries”用来管理一个时间序列相关数据的存储，通过Redis字典结构以Key Value的形式记录所有时序数据内容， 其中，Key 为时序数据的唯一标识符，Value为“timeSeriesStream”数据结构；S3 将时序数据的键值经过压缩后存储到Redis字典中，启用二进制压缩算法，将整个字典进行压缩存储；S4 在Reids的命令解析层面中实现基于时序数据对象的CRUD操作；S5 基于Redis的RDB协议实现时序数据的持久化存储，将整个“timeSeriesStream”数据结构中的SDS结构以二进制的形式存储到RDB数据库中，并记录插入的中间状态；S6 基于Redis的AOF持久化协议实现持久化存储，包括解析对应的相关命令，并以AOF文件格式存储；S7 结合Redis Cluster 实现分布式高并发：实现时序数据标识的一致性Hash算法，根据计算得到的Hash值与群集节点id将不同时序标识和对应数据分配存储到不同节点，并通过Redis主备技术实现数据冗余。