[发明专利]基于负载均衡和查询日志的数据空间多维索引方法

摘要

基于负载均衡和查询日志的数据空间多维索引方法，涉及数据空间索引技术领域。旨在把倒排索引分布到不同的索引节点中，使得各个索引节点保持负载均衡，同时最小化查询处理涉及的通信开销和减少搜索空间。在垂直划分中，首先利用查询日志和实体中频繁出现的词，聚合索引token词，使用超图表示用户查询与倒排列表间的访问模式；在水平划分中，通过超图刻画用户查询与实体间的访问模式信息，把水平划分问题归约为超图划分问题，使得不同索引节点的负载保持均衡，并降低查询涉及的通信开销。结合垂直划分和水平划分策略，构建二维混合索引并扩展为三维索引。通过在公开数据集DBLP上进行实验表明本发明方法在吞吐量、查询响应时间及扩展性优于已有方法。

主权项

1.一种基于负载均衡和查询日志的数据空间多维索引方法，其特征在于：所述方法将倒排索引分布到不同的索引节点中，使得各个索引节点保持负载均衡，所述方法为：结合基于负载均衡与超图划分的垂直划分索引和基于负载均衡与超图划分的水平划分索引得到二维划分索引框架2D‑IL，从吞吐量和容错率角度出发，扩展二维划分索引框架2D‑IL为三维索引框架MIL，基于三维索引框架MIL实现数据空间多维索引方法；所述方法的具体 实现过程为：步骤一、获得二维划分索引框架2D‑IL的过程为：步骤一一、确定基于负载均衡与超图划分的垂直划分索引确定垂直划分索引框架,使用查询日志和实体集中tokens偏斜信息来压缩数据空间倒排索引，形成一组聚合后的tokens词；然后，按照负载均衡和超图划分把所述tokens词的倒排列表均衡地分布到相应的索引节点中；基于负载均衡与超图划分的垂直划分1)、聚合tokens词的选取：通过聚合频繁地共同出现在实体或者查询日志中的tokens词来压缩索引；2)、给出垂直索引分布方式所述垂直索引分布方式基于聚合tokens词，把压缩后的倒排索引分布到相应的索引节点集中，使得保持各个索引节点负载均衡，同时最小化索引节点与索引服务器的通信开销；步骤一二、确定基于负载均衡与超图划分的水平划分索引水平划分索引框架的确定：按照负载均衡和超图划分把实体集的倒排列表分布到相应的索引节点中；水平划分：基于查询日志的访问模式信息与超图理论，把实体划分到不同的索引节点中，使得各个索引节点负载保持均衡以及索引节点内部任意两个实体的相似性较高，同时最小化索引节点与索引服务器的通信开销；步骤一三、获得二维划分索引框架：使二维索引分布在不同索引节点中，使每个索引节点中索引花费对存储空间显著降低，二维索引逻辑上可以看成一个N×M的集群，数据空间索引在行维度上是一个基于负载均衡与超图划分的水平划分索引，按照实体级划分；数据空间索引在列维度上是一个基于负载均衡与超图划分的垂直划分索引，按照聚合tokens词划分；每个索引节点对应tokens词压缩后的倒排索引；在第i行和第j列中的索引节点IS_ij中，包含tokens词{a,b,...,f}和实体{o₃₀,...o₅₀}，其对应的倒排索引格式如虚线箭头指向的倒排索引；在索引节点IS_ij中，其索引词汇为原始词汇的一个子集{a,b,...,f}，这些词汇在垂直划分后形成三个聚合tokens词，聚合tokens词对应实体集都同属于一个水平划分；步骤二、扩展二维划分索引框架2D‑IL为三维索引框架MIL：通过为二维索引中每个索引节点IS_ij复制D份，构成三维立方体的多维索引，在索引节点IS_ij的每个副本之间保证通信，防止该索引节点IS_ij失败时导致没有可用的查询结果的情况；步骤三、利用三维索引框架(MIL)实现数据空间多维索引：所述三维索引逻辑上可以看成一个N×M×D的3D立方体，其中D是复制的份数；在索引号(N_i,M_j,D_k)对应的单元格中，黑色点表示索引节点IS_ijk涉及索引token词{a,b,...,f}、实体{o₃₀,...o₅₀}并且是第k个备份；当一个查询Q＝t₁∧t₂∧...∧t_n被提交时，其处理流程为：(1)找出涉及token词{t₁,t₂,...,t_n}的列集合{M_j}；(2)对于这些列集合{M_j}，选择出相似性分数大于某个阈值的行集合{N_j}；(3)在(N_j，M_j)对应的备份中，随机选择一个立方体；(4)在确定所有的小立方体后，即(N_i,M_j,D_k)对应的立方体，把相应的子查询并发地发送到对应的索引节点IS_ijk中，进行并发查询；如果当前索引节点IS_ijk失败，利用通信机制把子查询发送随机发送到其它副本的索引节点中IS_ijl；(5)最后把所有并发查询结果进行综合并返回给用户。