[发明专利]一种列式存储格式文件快速合并方法及其系统

说明书

本发明公开了一种列式存储格式文件快速合并方法，所述方法包括以下步骤：读取每个待合并的列式存储格式文件的文件元数据，所述文件元数据包含所述列式存储格式文件的数据模型结构；遍历所述数据模型结构一致的待合并的列式存储格式文件，并按照按块读取方式合并到新列式存储格式文件中。本发明还公开了一种列式存储格式文件快速合并系统。本发明对于列式存储格式(parquet)文件中占数据量最大部分的行群组(ROWGROUP)按块读取并追加到新列式存储格式文件中，进而大幅减少对cpu的消耗，使得合并速度大幅提升。

技术领域

本发明涉及分布式文件系统领域，特别涉及一种列式存储格式文件快速合并方法及其系统、及计算机存储介质、电子设备。

背景技术

Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，是2015年5月从Apache的孵化器里毕业成为Apache顶级项目。

目前，parquet文件和传统的行式存储格式文件相比有几点优势：

(1)可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量；

(2)压缩编码可以降低磁盘存储空间，由于同一列的数据类型是一样的，可以使用更高效的压缩编码，例如Run Length Encoding和Delta Encoding，能进一步节约存储空间；

(3)只读取需要的列，支持向量运算，能够获取更好的扫描性能。

Parquet列式存储带来的性能上的提高在业内已经得到了充分的认可，例如Impala、Spark、Hive/Pig都原生支持Parquet。

但是，parquet文件的存储格式设计也决定了其不支持简单的追加操作，在一个提供实时查询的分布式存储系统中，每当有新数据到达需要形成parquet文件时，都必须重新生成一个新的parquet文件，而不能追加到已有的parquet文件的后面，这样时间一长就会造成分布式存储系统中有大量的数据量很小的parquet文件，对IO和存储系统的某些组件(比如hdfs的namenode、impala的statenode)造成巨大压力，此时需要对这些数据量很小的parquet文件进行合并，重新生成小量的数据量较大的parquet文件。

目前，最简单的parquet文件的合并思路是：依次读取待合并的每个parquet文件的每行内容，将每行内容重新写入新的parquet文件。但是，这种方法存在以下明显的缺点：

(1)由于要读取待合并的每个parquet文件的每行内容，再将每行内容写入新的parquet文件，相当于对每行内容进行了“parquet格式->普通格式->parquet格式”这样的一个转换过程，如此一来对cpu消耗较大，且速度较低；

(2)parquet文件在写入的过程中，数据都是先暂缓在内存当中的，等要close的时候再一次性吐出，也就是说待合并的每个parquet文件的每行内容都必须先暂缓在内存里面，如此一来对内存消耗较大。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种列式存储格式文件快速合并方法及其系统、及一种计算机存储介质及电子设备。所述技术方案如下：

一方面，一种列式存储格式文件快速合并方法，其中，所述方法包括以下步骤：

读取每个待合并的列式存储格式文件的文件元数据，所述文件元数据包含所述列式存储格式文件的数据模型结构；

遍历所述数据模型结构一致的待合并的列式存储格式文件，并按照按块读取方式合并到新列式存储格式文件中。

进一步的，所述读取每个待合并的列式存储格式文件的文件元数据的步骤具体包括：