[发明专利]一种文件合并方法、装置和设备

说明书

本说明书实施例提供了一种文件合并方法、装置和设备，其中，该方法包括：获取目标分区的待合并文件信息集；其中，所述待合并文件信息集中包含多个待合并文件的大小、路径，所述待合并文件大小小于等于预设阈值；根据所述各个待合并文件的大小确定合并分区数；基于所述各个待合并文件的路径和所述合并分区数，利用分布式流数据流引擎合并所述多个待合并文件，得到目标文件集；其中，所述目标文件集包含的文件数等于所述合并分区数；将所述目标文件集写入所述目标分区。在本说明书实施例中，可以高效地对目标分区中的待合并文件进行合并，有效减少了目标分区中的文件数量，进而可以提高读写效率。

技术领域

本说明书实施例涉及大数据技术领域，特别涉及一种文件合并方法、装置和设备。

背景技术

在计算机大数据领域中，随着数据的不断增多，相应的数据文件呈几何级别增长，使得分布式文件系统中的文件大小不一。对于分布式文件系统来说，当某个文件远远小于设置的分块(BLOCK)大小，则认为是小文件，由于在分布式文件系统中不同文件的读取的路径可能是不同的服务器，系统中小文件越多，相应的读写速度也越慢，从而会影响集群的扩展性。现有技术中，尚未有合并分布式文件系统中小文件的有效方式。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本说明书实施例提供了一种文件合并方法、装置和设备，以解决现有技术中无法有效合并分布式文件系统中小文件的问题。

本说明书实施例提供了一种文件合并方法，包括：获取目标分区的待合并文件信息集；其中，所述待合并文件信息集中包含多个待合并文件的大小、路径，所述待合并文件大小小于等于预设阈值；根据所述各个待合并文件的大小确定合并分区数；基于所述各个待合并文件的路径和所述合并分区数，利用分布式流数据流引擎合并所述多个待合并文件，得到目标文件集；其中，所述目标文件集包含的文件数等于所述合并分区数；将所述目标文件集写入所述目标分区。

本说明书实施例还提供了一种文件合并装置，包括：获取模块，用于获取目标分区的待合并文件信息集；其中，所述待合并文件信息集中包含多个待合并文件的大小、路径，所述待合并文件大小小于等于预设阈值；确定模块，用于根据所述各个待合并文件的大小确定合并分区数；合并模块，用于基于所述各个待合并文件的路径和所述合并分区数，利用分布式流数据流引擎合并所述多个待合并文件，得到目标文件集；其中，所述目标文件集包含的文件数等于所述合并分区数；处理模块，用于将所述目标文件集写入所述目标分区。

本说明书实施例还提供了一种文件合并设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现所述文件合并方法的步骤。

本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现所述文件合并方法的步骤。

本说明书实施例提供了一种文件合并方法，可以获取目标分区的待合并文件信息集，其中，所述待合并文件信息集中包含多个待合并文件的大小、路径，所述待合并文件大小小于等于预设阈值。为了是合并后的文件大小适中，可以根据所述各个待合并文件的大小确定合并分区数。基于所述各个待合并文件的路径和所述合并分区数，利用分布式流数据流引擎合并所述多个待合并文件，得到目标文件集，其中，分布式流数据流引擎进行合并可以有效提高文件合并的效率。进一步的，可以将所述目标文件集写入所述目标分区，以便后续可以基于合并后的文件读取数据。从而可以高效地对目标分区中的待合并文件进行合并，有效减少了目标分区中的文件数量，进而可以提高读写效率。

附图说明

此处所说明的附图用来提供对本说明书实施例的进一步理解，构成本说明书实施例的一部分，并不构成对本说明书实施例的限定。在附图中：

图1是根据本说明书实施例提供的文件合并方法的步骤示意图；

图2是根据本说明书实施例提供的文件合并装置的结构示意图；