[发明专利]一种基于TemplateB+Tree的索引结构布局方法

说明书

本发明涉及一种基于TemplateB+Tree的索引结构布局方法，包括以下步骤：S1：建立基于TemplateB+Tree分布式数据处理模型，设计基于主键和时间属性的数据域划分方法，利用数据时空特性构建二维区间，将新进数据和历史数据分配到不同组件并行处理；S2：基于TemplateB+Tree数据的查询分解和多级索引检索，使用数据区域划分和模型的拓扑结构设计，将用户查询请求解析为独立执行的子查询，并通过多级索引将聚合查询解析为相应的谓词函数，充分利用分布式集群的并发处理资源。本方法能够提升高并发数据读写能力、优化索引结构及数据存储能力，提高系统的实时性和可用性，降低对高可用查询的影响，给用户提供无感知变化的低延时复杂条件聚合查询能力。

技术领域

本发明属于数据的高效分布式存储和查询技术领域，涉及一种基于TemplateB+Tree的索引结构布局方法。

背景技术

在社会和经济的现实需求下，以及在技术和政策的双重驱动下，智慧医院以智慧医疗、智慧服务和智慧管理为核心的建设框架逐渐明晰。作为智慧医疗的基础设施,医疗数据的高效存储与查询在医疗领域扮演着重要作用，但当前对于医疗数据处理存在着数据插入系统时引起的索引更新以及数据存储开销较大，不能充分利用索引构建数据存储模型；以及新到数据和历史数据合并的时间开销较大和复杂的聚合条件查询的查询时延大，不能充分利用非主键属性构建索引和分布式系统的并行处理能力。

相比较于大多数的数据存储以及数据查询方法，基于TemplateB+Tree的索引结构布局方法其目的是提升高并发数据读写能力、优化索引结构及数据存储能力和提供数据多维度聚合索引的能力；在接收数据时，根据时空特性进行物理分区，分配到相应的服务器组件进一步做索引存储，处理查询请求时，将查询条件按分区分解为独立子查询，再根据元数据信息分配到指定服务器处理，充分利用本地缓存及集群动态扩展能力。当数据分配到相应组件后，插入系统的内存索引结构中以供实时检索，并在达到阈值大小后设计动态压缩算法并组织压缩，落盘到底层的分布式存储系统中。最后数据在时空特性上构建二维索引，能够高效插入和实现低延时基本查询，但结合其他维度属性进行聚合查询时，需要再构建非主键的索引结构，减少检索无关数据信息。以此来提高系统的实时性和可用性，降低对高可用查询的影响，给用户提供无感知变化的低延时复杂条件聚合查询能力。

综上所述，为解决现有技术中存在的问题，本发明针对性地提出了一种基于TemplateB+Tree的索引结构布局方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于TemplateB+Tree的索引结构布局方法，该方法能够提升高并发数据读写能力、优化索引结构及数据存储能力和提供数据多维度聚合索引的能力，并以此提高系统的实时性和可用性，降低对高可用查询的影响，给用户提供无感知变化的低延时复杂条件聚合查询能力。

为达到上述目的，本发明提供如下技术方案：

一种基于TemplateB+Tree的索引结构布局方法，该方法包括以下步骤：

S1：建立基于TemplateB+Tree分布式数据处理模型，具体包括：设计基于主键和时间属性的数据域划分方法，利用数据时空特性构建二维区间，将新进数据和历史数据分配到不同组件并行处理，避免索引的新旧数据合并开销以及不必要的索引结点分裂时间开销，并充分利用模板索引信息设计存储结构和分组压缩算法，保证了索引的写入和存储效率，从而保证了高并发的数据写入能力；

S2：基于TemplateB+Tree数据的查询分解和多级索引检索，具体包括：使用数据区域划分和模型的拓扑结构设计，将用户查询请求解析为独立执行的子查询，并通过多级索引将聚合查询解析为相应的谓词函数，充分利用分布式集群的并发处理资源。

进一步，所述的基于TemplateB+Tree构建分布式数据处理模型，具体包括以下步骤：S11：数据元祖处理，将数据元祖组织为一个四元组；S12：索引结构的布局及自适应更新，通过改进的TemplateB+Tree方法实现文本系统对大规模数据的高效存储。