[发明专利]一种列式存储格式文件快速合并方法及其系统

权利要求书

1.一种列式存储格式文件快速合并方法，其特征在于，所述方法包括以下步骤：

读取每个待合并的列式存储格式文件的文件元数据，所述文件元数据包含所述列式存储格式文件的数据模型结构；

遍历所述数据模型结构一致的待合并的列式存储格式文件，并按照按块读取方式合并到新列式存储格式文件中。

2.如权利要求1所述的列式存储格式文件快速合并方法，其特征在于，所述读取每个待合并的列式存储格式文件的文件元数据的步骤具体包括：

定位到每个待合并的列式存储格式文件的所述文件元数据的起始位置和长度；

根据所述起始位置和长度将每个待合并的列式存储格式文件的所述文件元数据读取到内存结构中。

3.如权利要求1所述的列式存储格式文件快速合并方法，其特征在于，在所述遍历所述数据模型结构一致的待合并的列式存储格式文件的步骤之前，所述方法还包括以下步骤：

对比每个待合并的列式存储格式文件的所述数据模型结构；

判断所述数据模型结构是否一致；

如果所述数据模型结构一致，则在所述新列式存储格式文件的起始位置写入起始位置固定字符；

如果所述数据模型结构不一致，则停止所述列式存储格式文件的合并。

4.如权利要求1或3所述的列式存储格式文件快速合并方法，其特征在于，所述列式存储格式文件的结构包括起始位置固定字符、行群组、文件元数据、文件元数据长度以及结束位置固定字符，其中，所述按照按块读取方式合并到新列式存储格式文件中的步骤具体包括：

将每个待合并的列式存储格式文件中的行群组按照按块读取方式追加到所述新列式存储格式文件的行群组中；

将每个待合并的列式存储格式文件中的文件元数据追加到所述新列式存储格式文件的文件元数据中；

计算所述新列式存储格式文件的文件元数据的长度并更新至所述新列式存储格式文件中；

在所述新列式存储格式文件的结束位置写入结束位置固定字符。

5.如权利要求4所述的列式存储格式文件快速合并方法，其特征在于，所述列式存储格式文件的文件元数据的结构还包括附加信息以及行群组元数据，其中，所述将每个待合并的列式存储格式文件中的文件元数据追加到所述新列式存储格式文件的文件元数据中的步骤具体包括：

将每个待合并的列式存储格式文件中的附加信息追加到所述新列式存储格式文件的附加信息中；

将每个待合并的列式存储格式文件中的行群组元数据追加到所述新列式存储格式文件的行群组元数据中，其中，每个所述行群组元数据包括一个或者多个列元数据，每个列元数据包括一个或者多个OFFSET，其中，所述OFFSET用于指向对应的行群组的列；

在所述新列式存储格式文件中的新写入的所述行群组元数据的列元数据中的OFFSET上加上值rSize，其中，所述rSize为合并前所述新列式存储格式文件已经写入到所述新列式存储格式文件里面的行群组总大小；

将所述rSize加上新写入的所述行群组元数据的大小；

将追加之后得到的新的文件元数据经过协议转换方式写入到所述新列式存储格式文件中。

6.一种列式存储格式文件快速合并系统，其特征在于，所述系统包括：

文件读取模块，用于读取每个待合并的列式存储格式文件的文件元数据，所述文件元数据包含所述列式存储格式文件的数据模型结构；

文件合并模块，用于遍历所述数据模型结构一致的待合并的列式存储格式文件，并按照按块读取方式合并到新列式存储格式文件中。

7.如权利要求6所述的列式存储格式文件快速合并系统，其特征在于，所述文件读取模块具体用于：

定位到每个待合并的列式存储格式文件的所述文件元数据的起始位置和长度；

根据所述起始位置和长度将每个待合并的列式存储格式文件的所述文件元数据读取到内存结构中。