[发明专利]读取具有存储感知的混合索引的方法

说明书

本发明公开了读取具有存储感知的混合索引的方法，属于数据库查询的技术领域。混合索引结构采用由上至下划分为位于主存中的顶层、位于内存中的中间层、位于外存中的底层这三部分的树状索引结构，顶层、中间层、底层数据在内存充足时均存储在内存中，中间层数据在内存不足时局部或全部存储在外存中。本发明还公开了混合索引结构的创建方法、读取方法、范围查询方法、重构方法，通过内存映射长度在内存不足时将部分索引数据存储在外存中，有效地利用内存、外存等存储资源，能够根据系统情况或用户效率需求合理决策索引结构内外存占用比例，提高查询效率。

技术领域

本发明公开了读取具有存储感知的混合索引的方法，属于数据库查询的技术领域，是申请号为201510310349.X的发明专利的分案申请，母案的申请日为2015年6月8日。

背景技术

现有数据库索引按照存储方式可分为两种，其一是采用完全基于硬盘的频繁访问方式来进行查询等操作,而未充分利用主存和缓存等处理速度更快的设备,性能无法突破设备瓶颈。另一种则是主存索引技术，即将索引完全建立在主存中，作为一种高效的索引方式，往往利用缓存技术，在现代计算机框架下性能非常高效，但当数据量大到一定程度时，如目前采用异构的计算资源的进行海量数据处理的云计算场景下，内存容量差异较大，如在内存容量一般的主机上，将无法容纳空间占用较大的索引结构。限于内存空间和存储等问题，主存索引不具有传统硬盘索引技术的可重用性和空间不受限等优点；而限于硬盘读写效率问题，传统硬盘索引不具有主存索引的高效性。

主存容量相对于硬盘等外存设备往往差距较大，因此当索引结构占用空间较大时，将整个索引结构置于主存中将不实际，根据主存占用情况进行自适应性的将底层调整至硬盘中，结合两种索引技术，动态利用外存、内存，以保证索引结构同时具有空间不受限、高效、持久化等特点。创建于主存中的索引结构的存储问题决定着数据完整性和系统实时性，若未在外存中存储相应的数据结构，系统重启时需重新创建将浪费大量的计算资源，因此将主存中的索引结构存储到硬盘中对于索引的持久性和重用性十分重要。

FD-tree是一种采用分散层叠技术和对数技术的高效索引结构，最小化随机读写的次数和限制随机读写的区域，有限提高了索引结构更新的效率。但是该索引结构仅将位于索引树顶层的B+-树导入到主存中，在内存能够容纳索引结构时却无法将整个结构导入内存中而未充分利用主存和缓存，因此效率仍有待提高。

发明内容

本发明所要解决的技术问题是针对上述背景技术的不足，提供了读取具有存储感知的混合索引的方法，基于FD-tree索引结构进行改进，基于内存空间决定索引树的内外存分布，将存储在硬盘上的索引结构局部或全部导入到主存中，提高查询和更新效率，同时不破坏系统的持久性特征，解决了仅将位于索引树顶层的B+-树导入到主存中的索引结构存在索引效率低的技术问题。

本发明为实现上述发明目的采用如下技术方案：

创建具有存储感知的混合索引的方法，具有存储感知的混合索引，采用由上至下划分为位于主存中的顶层、位于内存中的中间层、位于外存中的底层这三部分的树状索引结构，顶层、中间层、底层数据在内存充足时均存储在内存中，中间层数据在内存不足时局部或全部存储在外存中，

索引头文件创建在映射区域起始段，所述索引头文件包括：指示索引树含有常规键值与否的全局脏标记、记录索引树每一层节点描述信息的分层地址表、记录用于调整内存中存储数据的内存映射长度，索引树每一层节点描述信息包括：起始偏移量、结束偏移量、区域长度、头节点偏移量、导入比例、指示该层节点含有常规键值与否的局部脏标记；

方法具体如下：

计算内存可用连续空间大小以及索引结构占用空间并初始化分层地址表，

创建位于外存中的初始索引文件以形成索引结构底层，

采用内存映射技术并考虑内存可用连续空间，按照分层地址表将初始索引文件部分映射入内存以形成若干有序索引项节点序列构成的中间层，