[发明专利]一种用于海量多维数值数据范围查询的索引方法

说明书

本发明针对现有数据结构无法高效处理海量多维数值数据的查询问题，提出了一种面向海量多维数值数据查询的索引方法，方法包括：为存储在分布式数据库中的多维数据集构建多维索引；接收用户发送的查询请求，根据用户需求通过多维索引查询数据；当查询到符合查询请求的数据后，将不同查询类型的查询结果返回用户。多维索引结构包括如下特点：(1)是一棵多维有序查询树，每层表示一个数据维度，从根节点开始，具有相同父节点的边按从左至右递增排列。(2)查询路径唯一，即如果查询条件存在，则有且只有一条路径与之对应。(3)树的深度与数据的维度唯一相关，树中不存在冗余路径。(4)树的叶子节点存储数据信息，节点数量最优化。

技术领域

本发明涉及计算机技术领域，尤其涉及一种用于海量多维数值数据范围查询的索引方法。

背景技术

随着各领域数据的爆炸式增长，数据的维度也随之在激增，基于传统的文件系统和关系型数据库对这些数据的存储、分析、访问等操作都受到了极大的限制。以气象领域数据为例，在实际的情况中，气象数据的日增量达到了10TB，并且数据的维度也越来越多，包括地表温度、气压、风速、湿度、降水量等维度。

目前，针对海量多维数据的存储问题，新兴的云计算系统为广大用户提供了廉价而又强大的存储设备，通过云存储的方式解决了海量数据的存储问题。然而，大多数现有的云存储系统通常采用的是分布式散列表的方式为海量多维数据构建索引，这些数据中多为Key-Value的形式存储，这使得当前的云存储系统更多考虑和支持的是点查询，并且在进行多维点查询时需要扫描整个数据集。这种方式是十分低效的，因此需要利用到多维索引来优化查询，R-Tree、Quadtree虽可以提高数据存储和查询的性能，但是通常用于二维空间,OcTree多应用于三维空间。在针对三维以上，特别是五维以上的海量数据时，传统的数据索引显得力不从心，本发明针对这个问题提出了一种用于海量多维数值数据范围查询的索引方法。

在实际应用过程中，点查询显然是不够的，很多领域都有多维范围查询方面的需求，如在基于位置的服务中，用户通常需要根据他的经度、纬度和时间等多个维度来查找对象，而且在查询多个属性后需要立即返回结果，传统的查询方式显然无法满足这样的需求，实验证明，通过本发明的索引方法可以迅速查询范围数据的信息，并获得数据的存储位置，迅速查询到结果并返回，特别的，本发明支持高效的多维范围查询。

发明内容

本发明所解决是针对多领域数据量和数据维度激增的情况下，对大量多维数值数据的查询性能低下的问题，为解决这个问题提出了一种用于海量多维数值数据范围查询的索引方法。根据用户的不同查询需求，这种索引方法支持三种查询方式：多维布尔查询、多维点查询、多维范围查询。与传统的索引结构相比，本发明的优势在于支持高效的多维数值范围查询，这种查询的效率不会随着数据维度的增大出现指数级增长，其查询效率基本趋于稳定。

定义1，p表示前缀值；P(d，k)表示多维数据d中第k维数据的前缀值；R(p)是前缀p表示的取值范围。

定义2，前缀的覆盖：若R(p_i)∈R(p_j),则称p_j覆盖p_i；若p_i,p_j不存在覆盖关系，则R(p_i)∩R(p_j)＝φ。

定义3，最小公共前缀(MCP)：给定两个前缀p_i，p_j，两者的最小公共前缀p满足：R(p_i)∈R(p)且R(p_j)∈R(p)，我们用MCP(p_i，p_j)表示它们的最小公共前缀。