[发明专利]用于内存列式存储的n比特压缩版本化列数据阵列

说明书

作为列式内存数据库的一部分，值标识符被插入到内存的后备阵列中，直到判定这种后备阵列不具有充分的容量的时候为止。然后生成新的后备阵列，其包括旧后备阵列中的值标识符并且具有充分的容量。旧后备阵列可在没有使用这种后备阵列的活跃操作时被从存储器中冲刷掉。这种布置允许了读取者和非结构性写入者并发地操作。也描述了有关的装置、系统、技术和物品。

技术领域

本文描述的主题涉及支持对内存(in-memory)列式存储的并发读取者(reader)和写入者(writer)访问的n比特压缩版本化(versioned)列数据阵列(array)。

背景技术

对于一些列式内存数据存储，列值可被字典压缩。这种压缩使得列中的每个不同值被映射到唯一的整数值。此映射是一对一的。这些整数值有时被称为值ID或vid，作为值标识符的简写。关联到每个列的有这些vid的向量，其可被称为列数据阵列或索引向量。对于列c，c的索引向量的位置p中的vid v指示出对于列c，位置p处的行具有关联到v的值。为了存储效率，向量中的vid可被打包，使得只使用n比特来表示向量中的每个vid，其中n是表示最高vid所需要的比特的数目。例如，如果n等于2，则在索引向量的前64比特中，可存储列中的前32行的vid。

发明内容

在一个方面中，列式内存数据库的列中的每个不同的值被映射到不同的值标识符。然后，通过在索引向量的第一后备阵列中的每个位置p处插入与行n对于该列所具有的值相对应的值标识符来填充第一后备阵列。第一后备阵列具有预定义的分配存储器区块并且索引向量中的每个位置是逻辑上n比特宽的。判定第一后备阵列对于要插入其中的后续值标识符在预定义的分配存储器区块中不具有容量。随后，基于这样的判定，在不同的分配存储器区块中生成第二后备阵列，其包括第一组值标识符并且对于要插入其中的后续值标识符具有容量。接下来，后续值标识符被插入在第二后备阵列中。

将会明白，术语“第一后备阵列”和“第二后备阵列”就是指创建这种后备阵列的相对时间，并且在第一后备阵列之前和第二后备阵列之后都可以有创建的后备阵列。在一些情况下，术语“旧后备阵列”可以指第一后备阵列，并且术语“新后备阵列”可以指第二后备阵列。

该判定可基于对于后续值标识符没有空的行位置。该判定可基于后续值标识符具有超过n比特的宽度。

至少一个写入者和至少一个读取者可并发地访问索引向量。

在后续值标识符被插入到第二后备阵列中之后，第一后备阵列可被从存储器冲刷掉。当没有在第二后备阵列的建立之前注册的未完成读取者时，第一后备阵列可被冲刷。读取者可向(协调诸如冲刷存储器之类的活动的)垃圾收集器注册。

可以有向量索引的多个实例并且第二后备阵列可以是逐实例地生成的。

信号量(semaphore)可与每个索引向量相关联。信号量可被指派给寻求生成第二后备阵列的第一写入者。信号量可在将值标识符从第一后备阵列拷贝到第二后备阵列中之后被释放，并且第二后备阵列是作为索引向量的最新后备阵列建立的。

第二写入者可等待指派给第一写入者的信号量直到其被释放为止。第二写入者然后可在第二后备阵列上执行写入函子。

在给定的时间只可允许一个写入者执行对第一后备阵列的结构性改变。在给定时间被允许执行对第一后备阵列的结构性改变的写入者被提供对防止其他写入者执行结构性改变的排斥机制的拥有权。

在有两个或更多个写入者并发地寻求执行对第一后备阵列的结构性改变的情况下，没有排斥机制的一个或多个写入者在结构性改变对第二后备阵列做出之前等待对排斥机制的拥有权的释放和随后的提供。可以有至少一个写入者在另一写入者拥有排斥机制的同时并发地寻求执行对第一后备阵列的非结构性改变，并且在这种情况下，没有排斥机制的写入者可在非结构性改变对第二后备阵列做出之前等待排斥机制的释放。