[发明专利]一种多元时间序列数据分布存储及恢复方法在审
申请号: | 201810271226.3 | 申请日: | 2018-03-29 |
公开(公告)号: | CN108470070A | 公开(公告)日: | 2018-08-31 |
发明(设计)人: | 张可;柴毅;李媛;韩昱辉;游丹妮 | 申请(专利权)人: | 重庆大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京众合诚成知识产权代理有限公司 11246 | 代理人: | 胡柯 |
地址: | 400044 重*** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 索引文件 时间序列数据 时间序列 分布存储 时间戳 数据块 存储 读取 终端 原始数据信息 恢复 分布式存储 控制头信息 数据服务器 数据块索引 动态分割 生成控制 时序信息 数据存储 数据恢复 写入数据 序列数据 原始数据 资源存储 构建 服务器 写入 发送 | ||
1.一种多元时间序列数据分布存储及恢复方法,其特征在于,所述方法步骤如下:
S1:建立数据服务器,通过终端获取待存储的多元时间序列原始数据信息;
S2:将多元时间序列原始数据定义为多种不同类型的序列数据,根据定义后的类型按照优先级的高低进行区分,并动态分割为多个数据块;
S3:构建数据块的索引文件,为每个数据块索引时间戳,将时间戳写入数据块中的索引文件;生成控制头并写入索引文件,然后将多元时间序列生成的索引文件发送至终端进行存储;
S4:服务器通过读取索引文件的控制头信息,按照时序信息对多元时间序列数据进行恢复。
2.如权利要求1所述的多元时间序列数据分布存储及恢复方法,其特征在于,所述步骤S2中将多元时间序列数据动态分割为多个数据块的具体步骤如下:
S21:根据数据的类型区分为3种类型,分别为第一类,即具有固定的时间间隔;第二类,即具有固定的数据容量;第三类,即根据人为定义的各数据信息所对应的实际物理意义;分别为每种类型进行优先级定义,数据处理的先后顺序按照优先级从高到低进行;
S22:每个数据块的大小由数据的所属类型特征决定,第一类的数据按照每个时间的采样间隔进行分割;第二类的数据按照容量的大小进行平均分割;第三类的数据根据不同的物理含义进行分类分割。
3.如权利要求2所述的多元时间序列数据分布存储及恢复方法,其特征在于,所述步骤S21中数据类型的优先级定义如下:第一类,即具有人为定义的各数据信息所对应的实际物理含义的优先级设为1;第二类,即具有固定的时间间隔的优先级设为2;第三类,即具有固定的数据容量的优先级设为3。
4.如权利要求3所述的多元时间序列数据分布存储及恢复方法,其特征在于,所述步骤S2中将多元时间序列数据动态分割为多个数据块的具体步骤如下:
S23:给每个数据块备份一个或多个副本,同一条时间序列的各个数据块及其副本存储到不同的数据库里面,数据库中的每个节点最多只能保存该数据块的一个副本;
S24:计算出索引文件要达到任意可用性期望值需要维护的数据分块的最小副本个数。
5.如权利要求1所述的多元时间序列数据分布存储及恢复方法,其特征在于,所述步骤S3中构建数据块的索引文件的具体步骤如下:
S31:为每个数据块索引时间戳;
S32:写入所述数据块;
S33:写入所述数据块索引的时间戳并形成索引文件;
S34:生成控制头并写入索引文件;
S35:将多元时间序列生成的多个索引文件分别发送至后台终端进行存储。
6.如权利要求1所述的多元时间序列数据分布存储及恢复方法,其特征在于,所述步骤S4的具体步骤如下:
S41:选取一个需要恢复数据的时间点;
S42:将这个时间点转换为对应的时间参数,与已有存储文件中的时间戳相对比,确定所在时间周期中的数据信息;或者通过先找到相应的索引,然后通过索引找到相关时间和数据内容存放的具体位置;
S43:选取对应的索引文件,建立完整的数据库,完成多元时间序列的恢复。
7.如权利要求4所述的多元时间序列数据分布存储及恢复方法,其特征在于,所述步骤S24中确定最小副本个数的包括有:假设时间序列X被分为m个数据块,n为每个数据块的副本个数,p为节点可达的概率,即可以和节点通信的概率;Aexpec为时间序列数据的可用性期望值,即Aexpect<1;通过[1-(1-p)n]m≥Aexpect计算出索引文件要达到任意可用性期望值需要维护的数据分块的最小副本个数。
8.如权利要求2所述的多元时间序列数据分布存储及恢复方法,其特征在于,所述步骤S22中被分割后的数据块的大小不超过容量上限。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆大学,未经重庆大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810271226.3/1.html,转载请声明来源钻瓜专利网。