[发明专利]一种基于日志结构合并树的键值存储的数据快速读取方法

权利要求书

1.一种基于日志结构合并树的键值存储的数据快速读取方法，其特征在于，包括以下步骤：

步骤1：通过多层数据层构建日志结构合并树，日志结构合并树的每层数据层中存取多组键值数据对，统计分析日志结构合并树的每层数据层中数据读取频率，根据日志结构合并树的每层数据层中数据读取频率将日志结构合并树划分为高读取频率的数据层以及低读取频率的数据层，通过日志结构合并树高读取频率的数据层构建多层布谷鸟哈希表应用数据读取层；

步骤2：针对每层布谷鸟哈希表应用数据读取层中，若键值数据对中索引的字节数量大于字节阈值则将键值数据对中索引进行MD5编码后存入布谷鸟哈希表，否则键值数据对中索引仍存取至布谷鸟哈希表应用数据读取层即日志结构合并树；

步骤3：在进行数据索引读取时，若数据属于日志结构合并树多层数据层中高读取频率的数据层，则通过布谷鸟哈希表应用数据读取层中索引读取键值数据对中数据；若数据属于日志结构合并树多层数据层中低读取频率的数据层，则通过日志结构合并树中键值数据对中索引读取键值数据对中数据。

2.根据权利要求1所述的基于日志结构合并树的键值存储的数据快速读取方法，其特征在于：

步骤1所述日志结构合并树包括：

第一层日志结构合并树数据层、第二层日志结构合并树数据层、...、第M层日志结构合并树数据层；

步骤1所述日志结构合并树的每层数据层中存取多组键值数据对为：

其中，M表示日志结构合并树的数据层的层数，key_i,j,value_i,j表示日志结构合并树中第i层数据层中第j组键值数据对，key_i,j表示日志结构合并树中第i层数据层中第j组键值数据对中索引，value_i,j表示日志结构合并树中第i层数据层中第j组键值数据对中数据，j∈[1,N_i]，N_i表示日志结构合并树中第i层数据层中键值数据对的数量；

步骤1所述日志结构合并树的每层数据层的数据读取频率为：

F₁、F₂...、F_M

其中，F_i为日志结构合并树第i层数据层的数据读取频率；

统计分析日志结构合并树中每层数据层的数据读取频率的方法为：

当数据在日志结构合并树中每层数据层进行查找时，若查询到目标数据则返回目标结果；

若未查询到目标数据则到日志结构合并树中下一层数据层去查询；

若查询到目标数据定义为正查询，若未查询到目标数据定义为负查询；

统计日志结构合并树中每层数据层的数据的读取频率为正查询次数和负查询次数之和，即F_i＝F_p-i+F_f-i；

步骤1所述根据日志结构合并树的每层数据层中数据读取频率在日志结构合并树划分为高读取频率的数据层以及低读取频率的数据层为：

若查询的目标数据在日志结构合并树中第i层数据层时，则需要进行(i-1)次的负查询和1次正查询；

设定读取频率比例阈值为T，0.3≤T≤0.5，用于计算所述的日志结构合并树高读取频率的数据层；

设置内存最大值为S_max；

所述计算所述的日志结构合并树高读取频率的数据层为：

(F₁+F₂+…+F_K)/(F₁+F₂+…+F_M)＝T

(S₁+S₂+…+S_K)＝S_max

其中，F_i为日志结构合并树第i层数据层的数据读取频率，i∈[1,M]，F_k为日志结构合并树中第k层高读取频率的数据层，k∈[1,K]，T为读取频率比例阈值；

日志结构合并树的每层数据层的存到布谷哈希表中所占有的空间大小依次为：

S₁、S₂...、S_M

其中，Si为日志结构合并树第i层数据层的数据存到布谷哈希表中所占有的空间大小；

S_k＝N_k*B

其中，N_k为日志结构合并树中第k层高读取频率的数据层中键值数据对的数量，B为布谷哈希表的哈希桶的大小；

日志结构合并树中第一层数据层、日志结构合并树中第二层数据层、...、日志结构合并树中第K层数据层为步骤1所述的日志结构合并树中高读取频率的数据层；

日志结构合并树中第K+1层数据层、日志结构合并树中第K+2层数据层、...、日志结构合并树中第M层数据层为步骤1所述的日志结构合并树中低读取频率的数据层；

步骤1所述多层布谷鸟哈希表应用数据读取层为：

日志结构合并树中第一层数据层、日志结构合并树中第二层数据层、...、日志结构合并树中第K层数据层，K＜M。