[发明专利]一种文件合并方法和装置

说明书

本发明涉及数据处理技术领域，特别是涉及一种文件合并方法和装置，所述方法包括:当有新文件生成时，确定所述新文件的类别，根据预存的文件类别与文件合并策略的对应关系，获取与所述新文件的类别对应的文件合并策略；根据所述文件合并策略，触发合并判断，判断是否满足与所述文件合并策略对应的文件合并触发条件，如果满足，选取满足文件合并触发条件的文件，执行文件合并处理。本发明实施例提供的方法可以对文件进行分类处理，使得不同的文件有不同的合并处理策略，相对于现有技术提供的方法，使得文件的合并开销始终保持可控。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种文件合并方法和装置。

背景技术

增量数据库（incremental database）是一种基于增量文件的数据库技术，其特点是以追加而非修改文件的方式持久化新数据，从而可以避免对存储介质的随机写操作。而在增量数据库中，对同一条记录的更新和删除操作，可能造成该记录的数据分布在多个文件中。而随着数据库更新、删除操作产生的文件数量越多，数据读取时就需要搜索更多的数据文件，由此造成磁盘随机读性能下降。

为了解决随机读操作性能问题，增量数据库引入了文件合并机制，即将分散在多个文件中的记录合并到一个文件中。文件合并过程包含读取旧文件、计算和写入新文件等步骤，因此本身也会造成CPU、内存和磁盘读写的开销。参与合并的文件容量越大，造成的开销就越大。为了降低文件合并对增量数据库性能的影响，必须设计合理的文件合并触发和开销控制机制。

现有技术中存在的文件合并方法，主要采用基于实时数量的触发机制。在这种方法中，当文件数量达到一定阈值时触发对这些文件的合并操作，生成一个新的文件替代旧文件。然而，现有技术提供的方法中，始终以将所有历史数据合并到一起为目标，所有的历史文件均参与实时合并，而文件合并的开销是与合并的文件数据容量成正比的，随着文件数据容量的积累，数据合并到新文件的开销将越来越大，直到数据容量达到存储的上限。现有技术提供的方法将导致在大容量磁盘上部署的增量数据库，最终无法承受数据量的增长导致的合并开销的增长，因此存在合并开销不可控的缺陷。

发明内容

为解决上述技术问题，本发明实施例提供了一种文件合并方法和装置，可以控制、降低文件合并的开销。

一方面，本发明实施例提供了一种文件合并的方法，所述方法包括:

当有新文件生成时，确定所述新文件的类别，根据预存的文件类别与文件合并策略的对应关系，获取与所述新文件的类别对应的文件合并策略；

根据所述文件合并策略，触发合并判断，判断是否满足与所述文件合并策略对应的文件合并触发条件；

如果满足，选取满足文件合并触发条件的文件，执行文件合并处理。

优选地，所述文件合并策略包括以下任意一种或多种策略：

第一文件合并策略，所述第一文件合并策略以文件数量达到第一设定阈值作为触发条件；

第二文件合并策略，所述第二文件合并策略以时间作为触发条件。

优选地，所述文件类别包括第一类文件、第二类文件和第三类文件，其中，

所述第一类文件为新生成且未参与文件合并的文件或根据第一合并策略生成的文件；

所述第二类文件为根据第二文件合并策略生成的文件；

所述第三类文件为数据容量大于第二设定阈值的文件。

优选地，所述根据所述文件合并策略，触发合并判断，判断是否满足与所述文件合并策略对应的文件合并触发条件包括：

当有新的第一类文件生成时，触发合并判断，根据第一文件合并策略判断是否满足合并触发条件；