[发明专利]用于快速地并且有效地访问数据的文件格式

说明书

用于快速地并且有效地访问数据的文件格式。一些实施例提供了一种存储程序的非暂时性机器可读介质。程序接收从包括多个行的表创建用于存储数据的文件的请求。程序进一步将多个行划分为多个行块。对于每个行块的每个列，程序还基于存储在列中的数据类型对行块的列中的数据进行编码，并且将编码数据作为单独的数据页存储在文件中。程序还生成列集合的列元数据集合。程序还将每个列元数据作为单独的数据页存储在文件中。程序还生成报头页。程序还将报头页作为单独的数据页存储在文件中。

背景技术

数据库系统可以存储大量数据。不同数据库系统可以使用不同的存储数据的方法。例如，一些数据库系统将数据存储在表中，而其他数据库系统可以将数据存储在诸如电子表格(spreadsheet)、文档、媒体等文件中。存储的数据类型在不同的数据库系统中变化。例如，一些数据库系统可以存储结构化数据。另一方面，一些数据库系统可以存储非结构化数据。可以使用许多技术来搜索数据库系统中的特定数据。例如，一些数据库系统对数据库系统中的所有数据进行迭代，以便识别与查询匹配的数据。其他数据库系统可以使用索引来进行更快的搜索。

发明内容

在一些实施例中，非暂时性机器可读介质存储程序。程序接收从包括多个行的表创建用于存储数据的文件的请求。多个行中的每个行被划分为列集合。列集合中的每个列被配置为存储一类型的数据。程序还将多个行划分为多个行块。多个行块中的每个行块包括多个行的一部分。对于多个行块中的每个行块的列集合中的每个列，程序还基于存储在列中的数据类型对行块的列中的数据进行编码，以及将编码数据作为单独的数据页存储在文件中。程序还生成列集合的列元数据集合。每个列元数据包括：存储在列集合中的相对应的列中的数据类型、用于对相对应的列中的数据进行编码的编码方案以及对用于相对应的列的多个行块的引用。程序还将每个列元数据作为单独的数据页存储在文件中。程序还生成报头页，该报头页包括：多个行中的总行数，多个行块中的每个行块中的行数以及对列元数据集合的引用。程序还将报头页作为单独的数据页存储在文件中。

在一些实施例中，程序还可以生成列集合的数据元数据集合，其中，每个数据元数据包括描述存储在列集合中的相对应的列中的值的数据；以及将数据元数据集合中的每个数据元数据作为单独的数据页存储在文件中。对于多个行块中的每个行块的列集合中的每个列，程序还可以压缩编码数据以及作为单独的数据页存储编码和压缩数据。

在一些实施例中，列集合中的列可以被配置为存储整数值作为数据类型。对于多个行块中的每个行块的列，程序还可以基于存储在行块的列中的数据，从多个整数编码方案中自动选择整数编码方案，以及使用选择的整数编码方案对行块的列中的数据进行编码。可以使用多个整数编码方案中的不同整数编码方案对不同行块的列中的数据进行编码。

在一些实施例中，列集合中的列可以被配置为存储串值(string value)作为数据类型。对于多个行块中的每个行块的列，程序还可以使用串编码方案对行块的列中的数据进行编码。程序还可以包括在文件的每端(end)处存储文件格式标识符。

在一些实施例中，方法接收从包括多个行的表创建用于存储数据的文件的请求。多个行中的每个行被划分为列集合。列集合中的每个列被配置为存储一类型的数据。方法还将多个行划分为多个行块。多个行块中的每个行块包括多个行的一部分。对于多个行块中的每个行块的列集合中的每个列，方法还基于存储在列中的数据类型对行块的列中的数据进行编码，以及将编码数据作为单独的数据页存储在文件中。方法还生成列集合的列元数据集合。每个列元数据包括：存储在列集合中的相对应的列中的数据类型、用于对相对应的列中的数据进行编码的编码方案以及对用于相对应的列的多个行块的引用。方法还将每个列元数据作为单独的数据页存储在文件中。方法还生成报头页，该报头页包括：多个行中的总行数，多个行块中的每个行块中的行数以及对列元数据集合的引用。方法还将报头页作为单独的数据页存储在文件中。