[发明专利]一种分布式时序数据库存储引擎方法、装置及介质在审
申请号: | 202111609330.7 | 申请日: | 2021-12-27 |
公开(公告)号: | CN114265834A | 公开(公告)日: | 2022-04-01 |
发明(设计)人: | 张炜刚;贾德星 | 申请(专利权)人: | 山东浪潮科学研究院有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/22;G06F16/27 |
代理公司: | 济南信达专利事务所有限公司 37100 | 代理人: | 姜丽洁 |
地址: | 250100 山东省济*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 时序 数据库 存储 引擎 方法 装置 介质 | ||
1.一种分布式时序数据库存储引擎方法,其特征在于,采用线性数据模型结构进行数据分区,按照时间对数据点进行分区,每个所述的分区可以独立的对外提供服务,每个分区包含时间范围内的所有数据点;
每个分区使用一个单独的目录,所述目录包含元数据和时序数据两种文件,元数据记录的元信息通过mmap映射字节数组里进行访问;
对于时序数据通过二阶增量编码的方式减少数据存储空间。
2.根据权利要求1所述的一种分布式时序数据库存储引擎方法,其特征在于,在内存中只有头部分区和下一个分区是在堆中并可写,称为内存分区,所述内存分区写入前将数据追加到预写日志的末尾。
3.根据权利要求2所述的一种分布式时序数据库存储引擎方法,其特征在于,所述内存分区首先将操作日志写入预写日志WAL,发生崩溃时可以通过WAL按顺序进行恢复。
4.根据权利要求3所述的一种分布式时序数据库存储引擎方法,其特征在于,再往前的分区写入磁盘上的单个文件称为磁盘分区,磁盘分区的文件是只读的,并通过内核在mmap进行内存映射。
5.根据权利要求1、2、3或4所述的一种分布式时序数据库存储引擎方法,其特征在于,所述元数据文件记录了时序数据的元信息,所述时序数据文件通mmap映射字节数组里进行访问。
6.根据权利要求4所述的一种分布式时序数据库存储引擎方法,其特征在于,所述时序数据由时间戳和值的元组表示,在实现时UNIX时间戳由一个无符号的64位整数表示,仅存储与前一个时序时间戳的差值,先进行一阶增量编码,解码时需要顺序应用前面的增量结果进行恢复,再进行二阶增量编码,所述二阶增量编码即在所述一阶增量编码的基础上再求增量。
7.根据权利要求1所述的一种分布式时序数据库存储引擎方法,其特征在于,在分区写入的若是无序的数据点,将乱序的数据点缓存在一个单独的数组中,在刷到磁盘时再与内存中的有序时间点进行合并并重新排序。
8.根据权利要求6所述的一种分布式时序数据库存储引擎方法,其特征在于,若是数据点超过了可写入的分区范围,设置最近的两个分区可写入。
9.一种分布式时序数据库存储引擎装置,其特征在于,包括:至少一个存储器和至少一个处理器;
所述至少一个存储器,用于存储机器可读程序;
所述至少一个处理器,用于调用所述机器可读程序,执行权利要求1至8中任一所述的方法。
10.一种计算机可读介质,其特征在于,所述计算机可读介质上存储有计算机指令,所述计算机指令在被处理器执行时,使所述处理器执行权利要求1至8任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于山东浪潮科学研究院有限公司,未经山东浪潮科学研究院有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111609330.7/1.html,转载请声明来源钻瓜专利网。