[发明专利]一种文件合并方法、装置和设备

权利要求书

1.一种文件合并方法，其特征在于，包括：

获取目标分区的待合并文件信息集；其中，所述待合并文件信息集中包含多个待合并文件的大小、路径，所述待合并文件大小小于等于预设阈值；

根据所述各个待合并文件的大小确定合并分区数；

基于所述各个待合并文件的路径和所述合并分区数，利用分布式流数据流引擎合并所述多个待合并文件，得到目标文件集；其中，所述目标文件集包含的文件数等于所述合并分区数；

将所述目标文件集写入所述目标分区。

2.根据权利要求1所述的方法，其特征在于，获取目标分区的待合并文件信息集，包括：

确定目标分区；其中，所述目标分区的合并状态为未合并；

获取所述目标分区中各个文件的大小和路径；

根据所述目标分区中各个文件的大小，将文件大小小于等于所述预设阈值的文件作为待合并文件；

基于各个待合并文件的大小和路径，生成所述待合并文件信息集。

3.根据权利要求2所述的方法，其特征在于，在将所述目标文件集写入所述目标分区之后，还包括：更新所述目标分区的合并状态为已合并。

4.根据权利要求1所述的方法，其特征在于，在获取目标分区的待合并文件信息集之后，还包括：

根据所述各个待合并文件的路径，将所述多个待合并文件备份至目标目录下。

5.根据权利要求4所述的方法，其特征在于，在将所述目标文件集写入所述目标分区之后，还包括：

在确定所述目标文件集中文件的总大小等于所述多个待合并文件的总大小的情况下，删除所述目标目录下所述多个待合并文件的备份；

根据所述各个待合并文件的路径，确定所述各个待合并文件的文件名；

基于所述各个待合并文件的文件名删除所述目标分区中的所述多个待合并文件。

6.根据权利要求1所述的方法，其特征在于，根据所述各个待合并文件的大小确定合并分区数，包括：

根据所述各个待合并文件的大小，确定所述多个待合并文件的总大小；

获取预设块大小；

将所述多个待合并文件的总大小与所述预设块大小相除加1后整数部分的值作为所述合并分区数。

7.根据权利要求1所述的方法，其特征在于，基于所述各个待合并文件的路径和所述合并分区数，利用分布式流数据流引擎合并所述多个待合并文件，得到目标文件集，包括：

指定至少一个分布式流数据流引擎分区；其中，指定的分布式流数据流引擎分区的数量等于所述合并分区数；

根据所述各个待合并文件的路径，利用分布式流数据流引擎的API算子将所述多个待合并文件读取注册为内存中的临时表；

基于所述临时表，利用结构化查询语句将所述多个待合并文件写入所述至少一个分布式流数据流引擎分区中，得所述到目标文件集。

8.一种文件合并装置，其特征在于，包括：

获取模块，用于获取目标分区的待合并文件信息集；其中，所述待合并文件信息集中包含多个待合并文件的大小、路径，所述待合并文件大小小于等于预设阈值；

确定模块，用于根据所述各个待合并文件的大小确定合并分区数；

合并模块，用于基于所述各个待合并文件的路径和所述合并分区数，利用分布式流数据流引擎合并所述多个待合并文件，得到目标文件集；其中，所述目标文件集包含的文件数等于所述合并分区数；

处理模块，用于将所述目标文件集写入所述目标分区。

9.一种文件合并设备，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，所述指令被执行时实现权利要求1至7中任一项所述方法的步骤。