[发明专利]非关系数据存储的高负载业务存储及检索方法

说明书

本发明公开了一种非关系数据存储的高负载业务存储及检索方法，存储过程为接收新建/更新非关系数据的请求，对非关系数据构建元数据信息，将元数据信息放入缓存并永久存储；获取索引键值信息，构建索引信息，将索引信息存入缓存并永久存储。检索过程为接收数据检索请求，从缓存获取元数据信息，并将元数据信息返回；根据元数据信息查找索引信息，并将索引信息返回。本发明对于较大量数据，可以实现高效存储与检索，并且简单可靠，易于运行维护，成本低廉。

技术领域

本发明涉及计算机存储技术领域，特别是涉及一种基于存储数据索引优化，及重新构建的存储目标对象（文件、数据块），而建立的能够显著提高数据搜索效率的一种存储与检索方法。

背景技术

随着信息技术的高速发展，越来越多的数据被生产制造出来，如何高效存储与检索数据一直是产业界聚焦的焦点。出现了各种各样的存储系统及技术，试图从各个方面去提升数据存储与检索的效率，这些技术包括传统文件系统、关系数据库系统、非关系数据库系统、分布式文件系统、分布式块及对象存储系统等。当前主流的云存储系统利用高速网络与分布式系统等技术，对数据进行比较高效的存储与取用，并且针对某些特定类型的数据，采用特定的存储方式进行存储，如能够抽象为关系数据的信息使用关系数据库、爬虫获取的网页信息使用分布式键值存储系统，这些系统的共同特点是结构复杂、成本高、运维复杂、用途较为单一，难以大面积推广使用。但对于非关系数据诸如较为大量档案文献文件、新闻、网页、电子邮件、语音、图像等，目前主要的存储方式是单机文件系统。单机文件系统采用通用设计，存储与检索效率均比较低，如检索某些文件中出现的某一关键词，通常需要一个个打开文件进行搜索，这种方法在检索效率方面是非常低效的。如何采用一种简单的方式对这种类型的数据进行存储，达到存储简单方便结构统一，方便高效检索，并具备一定的扩展性，仍然是目前存储系统没有解决的问题。

由此可见，如何对较大量诸如文献类数据进行高效存储，高效检索，并且简单可靠，易于运行维护，成本低廉，仍然是本领域技术人员亟待解决的技术问题。

发明内容

发明目的：为了解决现有技术中大量数据的存储与检索效率较低的问题，本发明提供一种非关系数据存储的高负载业务存储方法，并提供一种非关系数据存储的高负载业务检索方法。

本发明的另一目的是提供一种非关系数据存储的高负载业务存储及检索系统。

技术方案：一种非关系数据存储的高负载业务存储方法，包括以下步骤：

（a1）接收新建/更新非关系数据的请求，对非关系数据构建元数据信息，将元数据信息放入缓存并保存到永久存储，所述元数据信息包括索引信息存放的逻辑位置；

（a2）获取索引键值信息，根据索引键值信息对非关系数据构建索引信息，将索引信息存入缓存并保存到永久存储。

进一步的，还包括：将非关系数据的内容存入缓存，然后将非关系数据的内容存入永久存储。

进一步的，所述元数据信息包括数据标识、存储标识、集群标识、数据分类标识，元数据信息采用统一格式构建，并具有固定的大小；所述索引信息包含索引相关信息、索引键值信息在数据中的匹配信息、数据的物理存储位置信息。

进一步的，将元数据信息、索引信息按照数据分页在底层存储中进行存储，一个分页存储一个索引信息，索引信息包括目标数据所在的物理标识或逻辑标识或物理地址或逻辑偏移地址或数据分页/块号；非关系数据的内容存储在存储块或存储文件上，一个存储块对应一个物理存储的数据块或一个文件，一个非关系数据包含一个或多个存储块，存储块大小固定且是物理存储的整数倍；存储块包括头部、数据的内容及尾部，头部包括块号、块大小、头部大小、尾部大小，尾部信息包括数据的块内索引、过滤器，块内索引存放本块内数据内容的索引信息，对块内索引设置阀值，阀值内的部分正常标记索引，超出阀值的部分仅记录块内索引的个数。

进一步的，在接收新建/更新非关系数据的请求前，元数据信息全部载入内存，使用缓存进行管理。