[发明专利]一种时序数据的存储方法及装置

说明书

本发明公开了一种时序数据的存储方法及装置，主要解决现有技术中存在的现有时序数据库直接压缩大量数据造成服务器易崩溃的问题。该一种时序数据的存储方法包括以下步骤：将原始数据拆分成不同的数据集后写入不同的子表中；将子表写入时序数据库。通过上述方案，本发明达到了将上万列的度量数据拆分到不同的子表，进行压缩存储；同时提供一种保存子表元数据的存储格式，有效地管理存储子表的目的。

技术领域

本发明涉及数据存储及查询技术领域，具体地说，是涉及一种时序数据的存储方法及装置。

背景技术

时序数据库主要用于指处理带时间标签，即按照时间的顺序变化，即时间序列化的数据，带时间标签的数据也称为时间序列数据；现有的时序数据库在面对上万列数据的写入时，直接将数据压缩，在原有一行数据量巨大的情况下，即使批量数据压缩后数据量也是海量的，这就使得服务器承受巨大的压力，易造成服务器的崩溃。

发明内容

本发明的目的在于提供一种时序数据的存储方法及装置，以解决现有时序数据库直接压缩大量数据造成服务器易崩溃的问题。

为了解决上述问题，本发明提供如下技术方案：

一种时序数据的存储方法包括以下步骤：将原始数据拆分成不同的数据集后写入不同的子表中；将子表的元数据信息存储到原始数据的元数据中；将子表写入时序数据库。

现有时序数据库对上万列数据写入、读出数据通常是：

写入：按照时间戳提取固定长度的时间段，按时间段进行压缩并写入KV引擎。

读取：在读取数据时通过指定的时间戳计算出要读取的列，然后去KV引擎中读取对应的时序数据块。

本发明在数据写入前，将数据按度量列拆分写入不同的子表，这就使得每个表写入一行的数据是原有一行数据的百分之一，减少了压缩数据的总量，能够大大减少写开销，从而整体上提升时序数据库的吞吐量，尤其在时序数据的离线分析场景时更为实用；将子表的元数据信息存储到原始数据的元数据中，读取时从原始数据的数据表中提出管理子表元数据信息的元数据信息持久化结构；减少读放大，通过管理子表的元数据，能够直接定位到对应的列名上；提供一种保存子表元数据的存储格式，有效地管理存储子表。

进一步的，将原始数据度量列按列名hash排序后，按设定数量的度量列拆分为不同的度量列子集；将上万列的度量数据拆分到不同的子表，进行压缩存储。

进一步的，原始数据包括指标列集和时间列，把指标列集、时间列和度量列子集组合成新的数据，将数据写入子表中。

进一步的，数据写入子表后，按设定标签提取key，通过提取的key把数据按照时间戳来进行压缩，压缩后生成Compress_Block。

进一步的，key和后面的一个数据块作为一个KV写入KV引擎，每个Compress_Block的最后一个时间戳作为列名。

一种基于时序数据的数据存储装置包括

存储器：用于存储可执行指令；

处理器：用于执行所述存储器中存储的可执行指令，实现一种时序数据的存储方法。

与现有技术相比，本发明具有以下有益效果：

（1）本发明在数据写入前，将数据按度量列拆分写入不同的子表，这就使得每个表写入一行的数据是原有一行数据的百分之一，减少了压缩数据的总量，能够大大减少写开销，从而整体上提升时序数据库的吞吐量，尤其在时序数据的离线分析场景时更为实用。