[发明专利]一种基于Ceph的海量小文件存取优化方法

摘要

本发明公开一种基于Ceph的海量小文件存取优化方法，当用户存储文件时，先利用K‑means聚类算法获得小文件的关联分组，再对每组内的文件按从大到小的顺序进行排序，然后将关联分组内的关联文件进行合并后再存储至Ceph中。当用户发起访问请求时，系统先检查请求文件是否在缓存中，若存在直接读取并返回请求文件；否则将请求信息发送到Ceph集群，实现小文件的读取并根据文件块间的利用率及相关率进行小文件的预取及缓存，返回请求文件及预取小文件。该发明通过减少用户与集群的交互，减少用户访问时间，提高海量小文件的访问效率，提高系统的整体性能。

主权项

1.一种基于Ceph的海量小文件存取优化方法，其特征是，包括步骤如下：步骤1、获取客户端同一时段内待上传的文件的文件的文件名和文件大小，并根据设定的文件阈值对这些文件进行分类：当待上传的文件的大小大于文件阈值时，则判定为大文件，直接上传到Ceph集群；当待上传的文件的大小等于或小于文件阈值时，则判定为小文件；步骤2、利用K‑means聚类算法对小文件进行关联分组，并对各个分组内的小文件按照文件大小从大到小进行排序，再将各分组内的小文件依次进行合并后上传到Ceph集群，同时根据小文件在合并文件内的映射关系生成索引文件；步骤3、当用户发出访问请求时，客户端判断请求文件是否在客户端的缓存中：若在客户端的缓存中，则直接从客户端的缓存中直接访问该请求文件；否则，客户端将请求信息上传Ceph集群；步骤4、Ceph集群接收请求信息，并根据请求文件的文件名确定其文件类型，若请求文件为大文件时，则直接从Ceph集群中读取该请求文件，并存储到客户端缓存中供用户访问，若请求文件为小文件时，则先根据索引文件确定请求文件在合并文件中的具体位置信息，再从Ceph集群中读取该请求文件，并存储到客户端缓存中供用户访问。