[发明专利]一种基于时序数据库的元数据存储方法及装置

说明书

本发明公开了一种基于时序数据库的元数据存储方法及装置，本发明基于时序数据的存储和读取，通过将批量数据进行压缩，同时将时间戳作为压缩后的KV列名，同时提出了一种保存数据块信息的元数据存储格式，有效地减少了读放大。采取上述两个方案有效的解决了现有时序数据库需要保存一份未压缩的原始数据，由于时序数据库的应用场景写I/O比例远远大于读，且压缩率较高，因此写放大非常严重的问题。

技术领域

本发明涉及数据存储领域，特别涉及一种基于时序数据库的元数据存储方法及装置。

背景技术

基于时间序列数据的特点，关系型数据库无法满足对时间序列数据的有效存储与处理，因此迫切需要一种专门针对时间序列数据来做优化的数据库系统，即时间序列数据库。

对于时序大数据的存储和处理往往采用关系型数据库的方式进行处理，但由于关系型数据库天生的劣势导致其无法进行高效的存储和数据的查询。时序大数据解决方案通过使用特殊的存储方式，使得时序大数据可以高效存储和快速处理海量时序大数据，是解决海量数据处理的一项重要技术。该技术采用特殊数据存储方式，极大提高了时间相关数据的处理能力，相对于关系型数据库它的存储空间减半，查询速度极大的提高。

现有时序数据库写入、读出数据通常是：1、按照时间戳提取固定长度的时间段，按时间段进行压缩并写入KV引擎，同时还需要写入未压缩数据；2、在读取数据时通过指定的时间戳计算出要读取的列，然后去KV引擎中读取对应的时序数据块。

现有时序数据库需要保存一份未压缩的原始数据，由于时序数据库的应用场景写I/O比例远远大于读（至少20：1）且压缩率较高（约10：1），因此写放大非常严重，因为未压缩数据和已压缩数据都是同样的数据，且未压缩数据通常是已压缩数据量的10倍左右。

发明内容

本发明的目的在于：提供了一种基于时序数据库的元数据存储方法及装置，解决了现有时序数据库需要保存一份未压缩的原始数据，由于时序数据库的应用场景写I/O比例远远大于读，且压缩率较高，因此写放大非常严重的问题。

本发明采用的技术方案如下：

一种基于时序数据库的元数据存储方法，包括以下步骤：

对时序数据进行打标得到若干标签，设置至少一个Key，每个Key与一个或多个标签对应；

将每个Key对应的时序数据按照时间戳进行压缩得到压缩数据块；

将每个Key和与其对应的压缩数据块作为一个KV写入KV引擎；

建立元数据链表，元数据链表记录每个Key和与其对应的压缩数据块的时间戳。

本发明基于时序数据的存储和读取，通过将批量数据进行压缩，同时将时间戳作为压缩后的KV列名，同时提出了一种保存数据块信息的元数据存储格式，有效地减少了读放大。采取上述两个方案有效的解决了现有时序数据库需要保存一份未压缩的原始数据，由于时序数据库的应用场景写I/O比例远远大于读，且压缩率较高，因此写放大非常严重的问题。

进一步的，所述每个Key对应至少一个压缩数据块。

进一步的，所述KV引擎中的列名为每个压缩块的第一个时间戳。

进一步的，所述元数据链表包括与每个Key一一对应的元数据。

进一步的，所述元数据包括与Key对应的key值和与压缩数据块对应的Block。

进一步的，所述Block中记载的内容包括与该Block连接的上一个Block的参数、当前Block对应的压缩数据块的标签以及压缩后的数据。

一种基于时序数据库的元数据存储装置，包括：

存储器，用于存储可执行指令、元数据链表和KV引擎；