[发明专利]计算框架内自动合并文件的方法、系统、设备及介质

权利要求书

1.一种计算框架内自动合并文件的方法，其特征在于，所述方法包括：

在计算框架内执行目标任务，所述目标任务包括目标目录、目标格式；

自动获取所述目标任务的执行结果，所述执行结果包括对象目录，以及所述对象目录下的对象文件；

判断所述对象目录下的对象文件是否是待合并文件；

若是，则将所述待合并文件合并生成合并文件，所述合并文件以所述目标格式存储在所述目标目录下。

2.如权利要求1所述的计算框架内自动合并文件的方法，其特征在于，所述判断所述对象目录下的对象文件是否是待合并文件的步骤包括：

获取所述对象目录下的对象文件的总个数和总大小；

根据所述总个数和总大小计算所述对象目录下的对象文件的平均大小；

判断所述平均大小是否大于第一阈值；

若是，则所述对象文件不是待合并文件；

若否，则所述对象目录是待合并目录，所述待合并目录下的对象文件是待合并文件。

3.如权利要求2所述的计算框架内自动合并文件的方法，其特征在于，所述将所述待合并文件合并生成合并文件的步骤包括：

预设第二阈值，所述第二阈值表征合并文件的大小的最大值；

根据所述第二阈值和所述平均大小计算所述合并文件包括的所述待合并文件的最大个数；

根据所述最大个数和所述总个数计算所述合并文件的个数。

4.如权利要求1所述的计算框架内自动合并文件的方法，其特征在于，所述将所述待合并文件合并生成合并文件的步骤包括：

将所述待合并文件合并生成合并文件，所述合并文件以所述目标格式存储在中间目录下，其中，所述中间目录不同于所述目标目录；

判断所述合并文件是否包括所有待合并文件；

若是，则将所述合并文件转移至所述目标目录；

若否，则将所述对象目录下的待合并文件转移至所述目标目录，并删除所述合并文件。

5.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4中任一项所述的计算框架内自动合并文件的方法。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的计算框架内自动合并文件的方法的步骤。

7.一种计算框架内自动合并文件的系统，其特征在于，所述系统包括：

执行模块，用于在计算框架内执行目标任务，所述目标任务包括目标目录、目标格式；

自动获取模块，用于自动获取所述目标任务的执行结果，所述执行结果包括对象目录，以及所述对象目录下的对象文件；

判断模块，用于判断所述对象目录下的对象文件是否是待合并文件；

若是，则调用合并模块；

所述合并模块用于将所述待合并文件合并生成合并文件，所述合并文件以所述目标格式存储在所述目标目录下。

8.如权利要求7所述的计算框架内自动合并文件的系统，其特征在于，所述判断模块包括：

获取单元，用于获取所述对象目录下的对象文件的总个数和总大小；

第一计算单元，用于根据所述总个数和总大小计算所述对象目录下的对象文件的平均大小；

第一判断单元，用于判断所述平均大小是否大于第一阈值；

若是，则所述对象文件不是待合并文件；

若否，则所述对象目录是待合并目录，所述待合并目录下的对象文件是待合并文件。

9.如权利要求8所述的计算框架内自动合并文件的系统，其特征在于，所述合并模块包括：

预设单元，用于预设第二阈值，所述第二阈值表征合并文件的大小的最大值；

第二计算单元，用于根据所述第二阈值和所述平均大小计算所述合并文件包括的所述待合并文件的最大个数；

第三计算单元，用于根据所述最大个数和所述总个数计算所述合并文件的个数。

10.如权利要求7所述的计算框架内自动合并文件的系统，其特征在于，所述合并模块包括：

合并单元，用于将所述待合并文件合并生成合并文件，所述合并文件以所述目标格式存储在中间目录下，其中，所述中间目录不同于所述目标目录；

第二判断单元，用于判断所述合并文件是否包括所有待合并文件；

若是，则调用第一转移单元；若否，则调用第二转移单元；

所述第一转移单元用于将所述合并文件转移至所述目标目录；

所述第二转移单元用于将所述对象目录下的待合并文件转移至所述目标目录，并删除所述合并文件。