[发明专利]数据存储结构的转换方法及装置

说明书

本发明提供了一种数据存储结构的转换方法，包括：提取基于原始存储结构的待转换数据中的第一数据单元及第二数据单元，并将第一数据单元及第二数据单元进行合并以确定为转换存储结构中的键，随后基于待转换数据的原始存储结构，通过值设定规则确定转换存储结构中的值，根据转换存储结构，将键及值组成的数据键值对存储至键值数据库中。本发明通过将基于原始存储结构的数据转换存储为基于转换存储结构中的数据，实现对多种存储数据类型以统一的转换存储结构的方式进行数据存储。同时，在保证较高的数据存储处理效率的前提下，将受物理内存限制的存储方式转换为以磁盘为数据存储目标的、不受物理内存限制的存储方式。

技术领域

本发明涉及数据库技术领域，具体而言，本发明涉及一种数据存储结构的转换方法及装置。

背景技术

随着信息时代的迅速发展，不仅在大企业，甚至一些小企业也积累了TB量级的数据，各种规模的组织开始有了处理大规模及多重数据种类的数据的需求，而传统的关系型数据库(SQL数据库)在数据存储的可扩展方面几乎达到极限。为了解决大规模数据集合及多重数据种类带来的挑战和大数据应用的难题，非关系型数据库(NoSQL数据库)应运而生。

常用的非关系型数据库包括KV(Key-Value，键值)存储数据库，其数据按照键值对的形式进行组织、索引和存储。KV存储方式非常适合不涉及过多数据关系及业务关系的数据存储业务，其能有效减少读写磁盘的次数，比SQL数据库存储拥有更好的读写性能，KV存储数据库的可实现方式包括Redis和LevelDB等，LevelDB能够支持billion级别的数据量，且在这个数量级别下还能够保持非常高的数据存储处理性能，同时，LevelDB可将数据存储至磁盘，有利于数据的永久保存；但是，目前LevelDB的接口仅支持无变形的key-value(键值对)型数据，接口较为单一，对业务的可扩展性较差。Redis是一种高性能的key-value存储系统，其可支持多种value类型的数据存储结构，包括string(字符串)类型、list(链表)类型、set(集合)类型、zset(有序集合)类型和hash(哈希)类型，但是，为了保证较高的数据存储处理效率，其数据都是缓存在内存中，即Redis为一种内存型数据库，因此该存储方式受物理内存限制，无法实现大数据存储。

由此可见，如何实现一种数据存储处理效率较高、既支持多种类型的数据存储结构、又不受物理内存限制的存储系统是目前急需解决的问题。

发明内容

为克服上述技术问题或者至少部分地解决上述技术问题，特提出以下技术方案：

本发明的实施例提出了一种数据存储结构的转换方法，包括：

提取基于原始存储结构的待转换数据中的第一数据单元及第二数据单元，并将所述第一数据单元及所述第二数据单元进行合并以确定为转换存储结构中的键；

基于所述待转换数据的原始存储结构，通过值设定规则确定所述转换存储结构中的值；

根据所述转换存储结构，将所述键及所述值组成的数据键值对存储至键值数据库中。

其中，所述值设定规则具体包括：

当所述待转换数据的原始存储结构中包括第三数据单元时，将所述第三数据单元确定为转换存储结构中的值；

当所述待转换数据的原始存储结构中不包括第三数据单元时，将转换存储结构中的值设为空值。

优选地，当所述原始存储结构为hash存储结构时，所述提取基于原始存储结构的待转换数据中的第一数据单元及第二数据单元，并将所述第一数据单元及所述第二数据单元进行合并以确定为转换存储结构中的键的步骤，具体包括：

提取基于hash存储结构的待转换数据中的key数据单元及field数据单元，并将其进行合并以确定为转换存储结构中的键；