[发明专利]一种小文件的合并方法、装置、设备及可读存储介质

说明书

本发明公开了一种小文件的合并方法，当获取的小文件的数量达到预设的第一阈值时，可以通过判断系统的负载值是否小于预设的负载阈值来判断系统的工作状态。当系统的负载值小于负载阈值时，意味着系统当前执行的业务并不会消耗很多资源，此时整个系统还有余力来将获取的小文件进行合并，此时将获取的小文件合并并不会对系统中正在执行的业务造成影响。通过对系统负载值大小的判断可以有效避免在合并小文件时对系统中正在执行的业务造成影响。本发明还公开了一种小文件的合并装置、一种小文件的合并设备及一种计算机可读存储介质，同样具有上述有益效果。

技术领域

本发明涉及文件存储领域，特别是涉及一种小文件的合并方法、装置、设备及可读存储介质。

背景技术

随着近年来科技不断的进步，分布式存储系统在生活中的应用越来越广泛。在分布式存储系统中，通常会设置HDFS(分布式文件系统)，管理以存储的文件。

通常情况下在HDFS中仅仅存在单个名称节点，但是在存储系统中存储大量的小文件时，通常存在存储效率低下的问题。所述小文件是指文件大小比数据块容量小的文件，通常是将文件大小小于64MB的文件称为小文件。

在现阶段，主要是通过将大量的小文件合并或组合成大文件，以此来解决小文件存储效率低下的问题。

但是在现有技术中，在将小文件合并成大文件的过程中，通常会对分布式存储系统中正在执行的业务造成影响，会引起整个分布式存储系统中正在执行业务的运行速度变慢、出现卡顿等问题。

发明内容

本发明的目的是提供一种小文件的合并方法，可以有效避免在合并小文件时对系统当前业务所造成的影响；本发明的另一目的在于提供一种小文件的合并装置、一种小文件的合并设备及一种计算机可读存储介质，可以有效避免在合并小文件时对系统当前业务所造成的影响。

为解决上述技术问题，本发明提供一种小文件的合并方法，所述方法包括：

获取用户发送的小文件；

当所述小文件的个数达到预设的第一阈值时，判断系统的负载值是否小于预设的负载阈值；

若是，则将获取的小文件进行合并。

可选的，在所述获取用户发送的小文件之后，所述方法还包括：

将所述小文件对应的标识信息添加至文件队列；其中，当所述小文件的个数大于所述文件队列的长度时，将所述标识信息依次添加至所述文件队列和至少一个备用队列；

所述当所述小文件的个数达到预设的第一阈值时，判断系统的负载值是否小于预设的负载阈值包括：

当所述文件队列中的标识信息排满时，判断所述负载值是否小于所述负载阈值。

可选的，在所述判断系统的负载值是否小于预设的负载阈值之后，所述方法还包括：

若否，则判断所述备用队列的数量是否大于预设的第二阈值；若是，则将获取的所述小文件进行合并。

可选的，在所述判断所述备用队列的数量是否大于预设的第二阈值之后，所述方法还包括：

若否，则新建一备用队列，并将所述文件队列中的标识信息转移至所述新建的备用队列；

S308：控制计时器进行计时；

S309：当所述计时器所计时间达到预设的时间阈值时，判断所述系统的负载值是否小于所述负载阈值；若是，则执行S310；若否，则重新执行S308；

S310：将获取的所述小文件进行合并。

可选的，所述将获取的小文件进行合并包括：

将所述小文件序列化，以合并所述小文件。