[发明专利]一种Append-efficient的分布式多维索引DAER-Tree

说明书

本发明公开了一种Append‑efficient的分布式多维索引DAER‑Tree，所述DAER‑Tree索引架构为G l oba l‑l oca l类型，所述Append‑eff i c i ent的分布式多维索引DAER‑Tree包括G l oba l i ndex及其l oca l i ndex；所述G l oba l i ndex是基于CAN P2P网络构建，所述l oca l i ndex是基于存储在本地的多维数据构建的AER‑Tree。本发明采用了追加高效的多维索引AER‑Tree，并在其基础上，结合C²覆盖网络技术，在索引构建速度、索引大小和存储空间利用率、查询响应时间、I/O开销等方面均较传统分布式多维索引技术有了较大的提升。

技术领域

本发明涉及数据检索领域，具体涉及一种Append-efficient的分布式多维索引DAER-Tree。

背景技术

在如今所处的大数据时代，很多应用所产生的数据通常具有数据量大、数据连续的以高速进入系统、需要大规模的(集群)存储空间、需要快速对进入系统的数据建立索引以满足检索的需要等特点。典型应用包括：视频监控等各种监控类应用，各类数据流和传感器应用，以及需要对产生的大量(事件)日志进行分析的应用。在这些应用场景中，进入系统的需要存档的数据以后可能还将被继续检索和分析，为了提高数据访问性能，在对这些数据存档时通常会建立相应的(多维)索引。而传统的B+-Tree和R*-Tree类索引在叶子节点满了不能继续插入新数据的时候会进行I/O和计算代价很大的分裂操作，以保证索引的平衡。当需索引的数据量较大时，连续插入大量数据所产生的随机I/O开销是很大的，以至于很难准实时的完成索引的构建和更新。

为了解决连续的大规模数据的索引构建问题，有两种常见的技术路线。一种是以类似于流数据管理的方式，在数据进入系统时就进行大量的(聚集)分析，然后仅将分析后的结果存储起来并建立相应的索引。这类技术有两个问题：一是可能违背了企业的数据管理策略。企业可能需要保存更多的原始数据，以进行各种分析和查询。因为对于企业来说，应用所产生的各种数据是一种战略资源，加强数据收集、分析、利用，对企业的发展具有重要价值。数据的管理和维护已成为企业最不可缺少的基础管理。而在数据刚进入系统时进行部分分析后就抛除原始数据，其实是损失了企业的重要资源，可能导致应用系统缺少进行新的分析和查询的基础数据。二是对于传统流数据管理和索引技术来说，在数据进入系统的时候就进行各种分析，尤其是结合存档的历史数据进行各类分析(例如：分析型混合连续查询)，实际上对系统的性能采用了很高的要求。需要系统在近乎实时地响应时间内对当前新进入系统的数据及其相关的大量历史数据进行数据访问和分析。而在当前的技术条件下，系统的性能还很难达到这样的目标。目前的流数据处理系统通常是假设历史数据上已经建立了合适的索引，当处理涉及历史数据的查询时，可以根据索引快速地对历史数据进行抽样，并在抽样的数据上获取近似的查询结果，从而减少访问历史信息的代价，保证对存档数据的处理速度能够满足准实时的要求。而对于本文所研究的课题来说，上述假设并不适用，因为课题研究本身的目标就是要解决大量数据的连续插入和索引构建问题。

第二种技术方案就是引入分布式系统来解决大规模连续数据的存储和索引。它将单节点高负载转换分发给集群中的多个节点共同承担，即利用集群中的各结点共同建立和维护一个分布式索引并存储相应的数据。在一定程度上，该方案是能够解决性能问题。但是当系统的负载增加到一定程度并使得分布式系统中的单节点负载仍然很重时，若此时分布式索引中仍然采用现有的类似于B⁺-Tree和R-Tree的技术时，连续插入数据时所产生的索引结点分裂等开销依然会较大，并且影响到数据插入和索引构建的性能。

发明内容

为了解决现有技术方案中连续插入大量数据时所引发的索引构建速度较慢的技术难题，本发明公开了一种分布式多维索引。