[发明专利]日志结构合并森林中的交错合并

说明书

本公开的至少一个方面针对一种维护键值存储的系统和方法。该方法能够包括建立通过键值进行索引的数据记录的第一游程。该方法可以包括，使用索引跟踪第一游程的数据记录到数据库上的合并级别上的合并。该方法可以包括与第一游程的合并并发地建立通过键值进行索引的数据记录的第二游程。该方法可以包括确定跟踪第一游程的数据记录合并到合并级别上的索引满足分位点条件。该方法可以包括将第二游程的第二多个记录的子集添加到第一游程的第一多个记录到数据库上维护的合并级别上的合并。

相关申请的交叉引用

本申请根据PCT第8条要求于2018年9月14日提交的标题为“Staggered Mergingin Log-Structured Merge Forests(日志结构合并森林中的交错合并)”的美国临时专利申请No.62/731,630的优先权，其通过引用整体合并于此。

技术领域

可以在数据库中维护和索引数据。某些大型索引数据库可以实现大插入体积。数据库可以处理查询以在该数据库搜索一个或多个条目。

发明内容

本公开的至少一个方面涉及一种维护键值存储的方法。该方法能够包括由具有一个或多个处理器的数据处理系统在第一缓冲器上建立用于对第一多个记录进行排序的第一游程。第一多个记录能够由第一对应的多个索引值最初索引。第一多个记录中的每个记录能够具有键域中的第一键值。键域能够定义多个键值。该方法能够包括由数据处理系统使用合并索引来跟踪第一游程的第一多个记录到数据库上维护的合并级别上的合并。合并索引能够引用在合并期间添加到合并级别的第一多个记录中的记录的第一键值。该方法能够包括由数据处理系统与第一多个记录的合并并发地在第二缓冲器上建立用于对第二多个记录进行排序的第二游程。第二多个记录能够由与第一多个索引值不同的第二对应的多个索引值来索引。第二多个记录中的每个记录能够具有键域中的第二键值。该方法能够包括由数据处理系统确定跟踪第一多个记录到合并级别上的合并的合并索引满足分位点条件。分位点条件能够对应于键域中的多个键值中的至少一个。该方法能够包括由数据处理系统响应于确定合并索引对应于分位点条件而从第二缓冲器中标识第二游程的第二多个记录的子集。子集的每个记录能够具有满足分位点条件的所对应的第二键值。该方法能够包括由数据处理系统将第二游程的第二多个记录的子集添加到第一游程的第一多个记录到数据库上维护的合并级别上的合并。

在一些实现方式中，该方法能够包括由数据处理系统基于合并索引和由分位点条件指定的分位点索引的比值来确定转接键值。在一些实现方式中，该方法可以进一步包括由数据处理系统基于数据库的合并带宽确定带宽偏移。合并带宽能够指示数据库正在添加第一多个记录并且第二多个记录的子集被合并的速率。在一些实现方式中，确定合并索引满足分位点条件能够包括确定合并索引满足由带宽偏移调整的转接键值。

在一些实现方式中，该方法能够包括由数据处理系统使用游程索引来跟踪使用第二多个记录建立第二游程。游程索引能够引用在第二游程中排序的第二多个记录的数目。在一些实现方式中，该方法能够包括由数据处理系统确定由游程索引引用的第二多个记录中的记录的第二键值满足分位点条件。在一些实现方式中，添加第二多个记录的子集能够包括与建立第二游程并发地并响应于确定由游程索引引用的记录的第二键值满足分位点条件而发起将第二游程的第二多个记录的子集添加到合并。

在一些实现方式中，该方法能够进一步包括由数据处理系统标识在第一缓冲器上建立第一游程的第一游程生成速率。第一游程生成速率能够指示在第一游程中对第一多个记录中的记录进行排序的速度。在一些实现方式中，该方法能够包括由数据处理系统标识在第二缓冲器上建立第二游程的第二游程生成速率。第二游程生成速率能够指示在第二游程中对第二多个记录中的记录进行排序的速度。在一些实现方式中，该方法能够包括由数据处理系统基于第一游程生成速率和第二游程生成速率中的至少一个来设定用于将第一游程的第一多个记录添加到数据库上的合并带宽。