[发明专利]一种分布式数据存储系统,及其实现方法在审
申请号: | 202111490560.6 | 申请日: | 2021-12-08 |
公开(公告)号: | CN114138910A | 公开(公告)日: | 2022-03-04 |
发明(设计)人: | 陆佳明 | 申请(专利权)人: | 简单类型软件技术(上海)有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/2455;G06F16/22;G06F11/30 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 200335 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 数据 存储系统 及其 实现 方法 | ||
1.一种分布式数据存储系统,该系统具有以下特征:其可以以树状存储各类数据,并且在该树状结构的任一节点均可以存在一数据表;该数据表具有以下特征:其类似数据库,能够存储某一指定类型的数据,确保插入的数据符合要求,并提供通过索引高效查询的方法;但相比数据库,其可以存储任意复杂类型数据,包括嵌套数据表,并且其嵌套的数据表也可以被索引从而高效访问。
2.基于权利要求1,该系统的实现方法,其特征在于:其使用分布式键值数据存储系统作为存储后端,并且使用自动分片方法使其中任意数据表支持大量写入请求,并能避免其中某一台机器成为写入热点。
3.基于权利要求1,其中,结构数据类型的每个字段都可以添加元数据,用于描述诸如权限、翻译等内容。
4.基于权利要求1,其中,所述系统可以用作文件系统,其中:数据表类型对应数据库文件或者电子表格文件。
5.基于权利要求1,该系统的自动分片机制,其具有以下特征: 通过监控某存储容器的写入频率,当写入频率超过某阈值时,自动增加分片数量; 写入时,使写入压力匀均分散在各个分片中; 读取时,同时读取多个分片并将结果聚合后返回用户。
6.基于权利要求5,其中,当写入压力低于某阈值时,可以减少分片,此时,读取操作是否访问被删除分片分两种情况: 其一,依然访问被删除分片,直到有后台任务合并分片数据; 其二,如果所存数据的在时间上有序,则可以按时间划分,当访问的时间范围不包含由被删除分片的时间段,则不访问被删除分片。
7.一种数据存储系统的自动索引机制,其具有以下特征: 通过监控某存储容器的某种访问方式的某个技术指标,当该指标超过某阈值时,自动创建下游数据容器并将该访问方式的读取请求转移到该下游数据容器。
8.基于权利要求7,其中,下游数据可以在原始数据容器被写入时自动同步;读取时,先访问下游数据容器,如果所查询的数据ID范围包含未写入区域,则访问原始数据容器,读取后写入下游数据容器;当自动同步功能关闭后,如果读取频率降低到一定程度,下游数据容器可以被:保留、归档、或删除。
9.基于权利要求7,其中,下游数据可以在读取时按需同步;读取时,总是访问下游数据容器。
10.基于权利要求7,其中,自动同步功能可以被打开或关闭;当自动同步功能打开时,可以将历史数据一次性同步完,也可以留待读取时按需同步; 当自动同步功能关闭后,如果读取频率降低到一定程度,下游数据容器可以被:保留、归档、删除。
11.基于权利要求7,其中,可以自动建立索引的访问方式可以是某个操作集合中的元素或其组合,只需要其满足一项要求;该操作集合可以包含以下一种或多种操作:筛选、分组、排序、聚合、滑动窗口、时间窗口;需要满足的要求为:建立自动索引后需要读取的数据量或者计算量会按一定比例以上的程度减少。
12.基于权利要求7,其中的技术指标可以是以下参数的一种或多种,或根据以下参数的一种或多种计算出来:读取频率、写入频率、该访问方式的计算复杂度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于简单类型软件技术(上海)有限公司,未经简单类型软件技术(上海)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111490560.6/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置