[发明专利]一种数据存储方法和装置

说明书

本发明公开了一种数据存储方法和装置。其中方法包括：预设磁盘中的各页可存储的行的数量为N，N为自然数；对于数据表中待存储的每一列，为其分配一个包含一组页的列块，并将该列中的数据按顺序存储到该列块中的各页中，其中每一个页中存储该列中的N行数据；在接收到数据查询请求时，根据所述查询请求对应的列，确定待查询的列块，根据所述查询请求命中的对应列中的行，确定该列块中的目标页；将该目标页中的数据读取到内存中，根据所述数据查询请求进行查询。该技术方案通过对列式存储的改进，实现了在确定待查询数据所在行的情况下，快速定位到数据地址，避免读取和遍历大量不必要的数据，加快了查询速度。

技术领域

本发明涉及计算机技术领域，具体涉及一种数据存储方法和装置。

背景技术

在大数据场景下，列式存储相对于行式存储有着显著的优势。然而目前存在的问题是：即使能够确定待查询数据在数据表中处于第几行，我们也并不知道该行的数据的具体位置。而许多列式存储文件对磁盘的空间占用大，如果对其进行遍历，不可避免地会读取大量无用数据，导致查询速度慢，效率低，资源占用高。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据存储方法和装置。

依据本发明的一个方面，提供了一种数据存储方法，包括：

预设磁盘中的各页可存储的行的数量为N，N为自然数；

对于数据表中待存储的每一列，为其分配一个包含一组页的列块，并将该列中的数据按顺序存储到该列块中的各页中，其中每一个页中存储该列中的N行数据；

在接收到数据查询请求时，根据所述查询请求对应的列，确定待查询的列块，根据所述查询请求命中的对应列中的行，确定该列块中的目标页；

将该目标页中的数据读取到内存中，根据所述数据查询请求进行查询。

可选地，该方法还包括：

为各列块生成统计信息，并与各列块对应保存；

所述统计信息包括如下的一种或多种：该列块中的各页对磁盘空间的占用情况，该列块中的各页在磁盘中的偏移量，该列块中各页中存储的数据在原数据表中的行数范围。

可选地，该方法还包括：

为各列块中的各页按顺序进行编号；

所述该列块中各页中存储的数据在原数据表中的行数范围是根据各页的编号和各页可存储的行的数量为N计算得到的。

可选地，所述根据所述查询请求命中的对应列中的行，确定该列块中的目标页包括：

根据所述查询请求命中的对应列中的行在原数据表中的行数和待查询的列块的统计信息，确定所述查询请求命中的对应列中的行所在的页。

可选地，所述查询请求命中的对应列中的行在原数据表中的行数是根据该查询请求对应的目标数据表的索引得到的。

依据本发明的另一方面，提供了一种数据存储装置，包括：

存储单元，适于预设磁盘中的各页可存储的行的数量为N，N为自然数；对于数据表中待存储的每一列，为其分配一个包含一组页的列块，并将该列中的数据按顺序存储到该列块中的各页中，其中每一个页中存储该列中的N行数据；

查询单元，适于在接收到数据查询请求时，根据所述查询请求对应的列，确定待查询的列块，根据所述查询请求命中的对应列中的行，确定该列块中的目标页；将该目标页中的数据读取到内存中，根据所述数据查询请求进行查询。