[发明专利]一种文件合并方法、装置及计算可读存储介质

说明书

本申请公开了一种文件合并方法、装置及计算可读存储介质，涉及分布式系统领域。通过接收客户端生成并发送的文件合并请求；其中，文件合并请求包含预设的目标文件的参数和源文件的参数，目标文件为大文件，源文件为小文件；解析文件合并请求中的目标文件的参数和源文件的参数；根据目标文件的参数和源文件的参数判断是否满足预设条件；若是，将源文件追加至目标文件中，以进行文件合并。由此可知，上述方案通过解析客户端发送的文件合并请求，对请求中的目标文件和源文件的参数进行判断，当满足预设条件时将源文件追加至目标文件中，实现了文件合并，提高了文件的读写性能。

技术领域

本申请涉及分布式系统领域，特别是涉及一种文件合并方法、装置及计算可读存储介质。

背景技术

Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed FileSystem)。它和现有的分布式文件系统有很多共同点，但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分可移植操作系统接口(Portable Operating System Interface，POSIX)约束，来实现流式读取文件系统数据的目的。HDFS有着高容错性(fault-tolerant)的特点，并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。

目前，在HDFS系统运行过程中，数量众多的小文件读写性能较低，而对于数量较少的大文件的读写性能更高。因此为了能够提高文件读写性能，满足用户对文件的读写需求，迫切需要一种文件合并的方法，将小文件与大文件进行合并，以提高文件的读写性能。

鉴于上述问题，设计一种文件合并方法，是该领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种文件合并方法、装置及计算可读存储介质，目的在于将小文件与大文件进行合并，以提高文件的读写性能。

为解决上述技术问题，本申请提供一种文件合并方法，应用于服务端，所述方法包括：

接收客户端生成并发送的文件合并请求；其中，所述文件合并请求包含预设的目标文件的参数和源文件的参数，所述目标文件为大文件，所述源文件为小文件；

解析所述文件合并请求中的所述目标文件的所述参数和所述源文件的所述参数；

根据所述目标文件的所述参数和所述源文件的所述参数判断是否满足预设条件；

若是，将所述源文件追加至所述目标文件中，以进行文件合并。

优选地，所述根据所述目标文件的所述参数和所述源文件的所述参数判断是否满足预设条件包括：

根据所述目标文件的所述参数和所述源文件的所述参数判断是否符合文件合并配置项的要求；

若是，则进入到所述将所述源文件追加至所述目标文件的步骤；

若否，输出错误信息至所述客户端。

优选地，所述将所述源文件追加至所述目标文件包括：

将所述目标文件的所述参数和所述源文件的所述参数分别转换为append追加接口的参数格式，以调用所述append追加接口；

通过所述append追加接口将所述源文件追加至所述目标文件中。