[发明专利]数据存储结构的转换方法及装置有效
申请号: | 201510674542.1 | 申请日: | 2015-10-16 |
公开(公告)号: | CN105389334B | 公开(公告)日: | 2019-03-01 |
发明(设计)人: | 宋昭;陈宗志 | 申请(专利权)人: | 北京奇虎科技有限公司;奇智软件(北京)有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22 |
代理公司: | 北京市立方律师事务所 11330 | 代理人: | 张筱宁 |
地址: | 100088 北京市西城区新*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 存储 结构 转换 方法 装置 | ||
本发明提供了一种数据存储结构的转换方案,包括:提取基于原始链表存储结构的同一链表中各个待转换数据的位置标识以及链表的链表标识,并将链表标识及各个待转换数据的位置标识分别进行合并,以确定与各个待转换数据相应的转换存储结构中的键,随后将提取到的与各个待转换数据在链表中左右相邻两个数据中的位置标识与提取到的各个待转换数据中的value数据单元分别进行合并,以确定为各个待转换数据的转换存储结构中的值,根据转换存储结构,将键及值组成的数据键值对存储至键值数据库中。通过本发明,最终可实现一种数据存储处理效率较高、既支持多种类型的数据存储结构、又不受物理内存限制的存储系统。
技术领域
本发明涉及计算机技术领域,具体而言,本发明涉及的一种数据存储结构的转换方法及装置。
背景技术
随着信息时代的迅速发展,不仅在大企业,甚至一些小企业也积累了 TB量级的数据,各种规模的组织开始有了处理大规模及多重数据种类的数据的需求,而传统的关系型数据库(SQL数据库)在数据存储的可扩展方面几乎达到极限。为了解决大规模数据集合及多重数据种类带来的挑战和大数据应用的难题,非关系型数据库(NoSQL数据库)应运而生。
常用的非关系型数据库包括KV(Key-Value,键值)存储数据库,其数据按照键值对的形式进行组织、索引和存储。KV存储方式非常适合不涉及过多数据关系及业务关系的数据存储业务,其能有效减少读写磁盘的次数,比SQL数据库存储拥有更好的读写性能,KV存储数据库的可实现方式包括Redis和LevelDB等,LevelDB能够支持billion级别的数据量,且在这个数量级别下还能够保持非常高的数据存储处理性能,同时, LevelDB可将数据存储至磁盘,有利于数据的永久保存;但是,目前 LevelDB的接口仅支持无变形的key-value(键值对)型数据,接口较为单一,对业务的可扩展性较差。Redis是一种高性能的key-value存储系统,其可支持多种value类型的数据存储结构,包括string(字符串)类型、list (链表)类型、set(集合)类型、zset(有序集合)类型和hash(哈希) 类型,但是,为了保证较高的数据存储处理效率,其数据都是缓存在内存中,即Redis为一种内存型数据库,因此该存储方式受物理内存限制,无法实现大数据存储。
由此可见,如何实现一种数据存储处理效率较高、既支持多种类型的数据存储结构、又不受物理内存限制的存储系统是目前急需解决的问题。
发明内容
为克服上述技术问题或者至少部分地解决上述技术问题,特提出以下技术方案:
本发明的实施例提出了一种数据存储结构的转换方法,包括:
提取基于原始链表存储结构的同一链表中各个待转换数据的位置标识以及所述链表的链表标识,并将所述链表标识及所述各个待转换数据的位置标识分别进行合并,以确定与所述各个待转换数据相应的转换存储结构中的键;
提取与所述各个待转换数据在所述链表中左右相邻两个数据中的位置标识以及所述各个待转换数据中的value数据单元,并将提取到的与所述各个待转换数据在所述链表中左右相邻两个数据中的位置标识与提取到的所述各个待转换数据中的value数据单元分别进行合并,以确定为所述各个待转换数据的转换存储结构中的值;
根据所述转换存储结构,将所述键及所述值组成的数据键值对存储至键值数据库中。
优选地,该方法还包括:
确定所述链表中与原始链表存储结构相应的结构相关信息;
将以预定的链表信息标识为键、以所述结构相关信息为值组成的结构键值对与所述同一链表中的各个待转换数据相关联地存储至键值数据库中。
其中,所述结构相关信息,至少包括:
所述链表中的待转换数据的数量;
所述链表中的下一可用的位置标识;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司;奇智软件(北京)有限公司,未经北京奇虎科技有限公司;奇智软件(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510674542.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种大数据量报表查询方法和系统
- 下一篇:一种跨社区开源资源匹配关联方法
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置