[发明专利]时序数据库的分布式实现方法、装置、设备及存储介质在审
申请号: | 201810489971.5 | 申请日: | 2018-05-21 |
公开(公告)号: | CN108664660A | 公开(公告)日: | 2018-10-16 |
发明(设计)人: | 钟昌寿 | 申请(专利权)人: | 北京五八信息技术有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 工业和信息化部电子专利中心 11010 | 代理人: | 焉明涛 |
地址: | 100083 北京市海淀区学清*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据分片 时序数据库 数据域 分布式实现 存储介质 写入 长度确定 分片数据 非固定 时间段 细粒度 集群 场景 查询 | ||
本发明公开了一种时序数据库的分布式实现方法、装置、设备及存储介质,所述方法包括:根据对数据域设置的时间长度确定分片单位;根据所述分片单位对数据表中数据进行数据分片;将得到的各个分片数据写入集群中相应数据域。本发明各个实施例通过将数据域的时间长度作为分片单位,并根据所述分片单位对数据表中数据进行数据分片,实现了通过在表级别对数据按照固定或非固定时间段进行分片,从而降低了数据分片的粒度,进而支持使用更细粒度的数据分片以满足需要更高性能写入或者查询的场景,有效提高了分布式时序数据库的实现灵活性。
技术领域
本发明涉及网络技术领域,特别是涉及一种时序数据库的分布式实现方法、装置、设备及存储介质。
背景技术
随着移动互联网的迅猛发展,产生的各种数据非常多。为了适应各种数据的存储需要,以及特定的应用场景,发展出了类型众多的专门数据库。时序数据库用于存储带有严格时间戳的数据。
目前,为了支持海量数据的存储,需要在时序数据库的单机版的基础上实现分布式功能,以突破单机容量与性能的限制。但现有分布式实现方案存在性能或者使用场景的限制,灵活性不足,并不适合作为一个存储平台的分布式实现。因此需要一种更加灵活,适用各种场景的分布式实现方案。
发明内容
为了克服上述缺陷,本发明要解决的技术问题是提供一种时序数据库的分布式实现方法、装置、设备及存储介质,用以至少提高分布式时序数据库的实现灵活性。
为解决上述技术问题,本发明实施例中的一种时序数据库的分布式实现方法,包括:
根据对数据域设置的时间长度确定分片单位;
根据所述分片单位对数据表中数据进行数据分片;
将得到的各个分片数据写入集群中相应数据域。
可选地,所述将得到的各个分片数据写入集群中相应数据域之前,包括:
在所述集群为所述各个分片数据创建所述相应数据域。
可选地,所述集群包括一个或多个组;在所述集群包括多个组时,所述在所述集群为所述各个分片数据创建所述相应数据域,包括:
在所述集群的不同组为所述各个分片数据创建所述相应数据域。
可选地,所述在所述集群的不同组为所述各个分片数据创建所述相应数据域,包括:对于时间上相邻的任意两个分片数据:
在所述集群的第一组上,为在前的分片数据创建对应的第一数据域;
判断是否需要将在后的分片数据存储到所述第一组;
若是,根据所述时间长度,修改所述第一数据域的结束时间;
若否,在所述集群的第二组上,为所述在后的分片数据创建对应的第二数据域。
可选地,所述判断是否需要将在后的分片数据存储到所述第一组之前,包括:
当所述在后的分片数据即将达到时,预先分配在后的分片数据的存储位置。
可选地,每个组包括主设备和备份设备;所述在所述集群的不同组为所述各个分片数据创建所述相应数据域,包括:
在所述集群的不同组的主设备上,为所述各个分片数据创建所述相应数据域;
通过异步同步方式,将所述主设备的分片数据同步到备份设备。
可选地,所述方法还包括:
检测到所述集群的读写性能或容量达到相应的扩容阈值;
发出扩容提示。
可选地,所述方法还包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京五八信息技术有限公司,未经北京五八信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810489971.5/2.html,转载请声明来源钻瓜专利网。