[发明专利]一种对象聚合方法、装置、设备及可读存储介质

说明书

本发明公开了一种对象聚合方法，包括：获取目标对象，计算目标对象对应的相关性指数；其中，目标对象为文件体积小于预设阈值的对象文件；利用相关性指数生成聚合任务，将聚合任务放入聚合任务队列；按照预设相关性顺序从聚合任务队列中获取目标聚合任务，利用目标聚合任务对应的第一目标对象构建聚合对象，并将聚合对象存入存储系统；该方法按照预设相关性顺序从聚合任务队列中获取目标聚合任务，利用各个目标聚合任务对应的第一目标对象构建聚合对象并将其存入存储系统，即完成了对象的聚合存储，在进行数据读写时减少集群IO，增强集群数据读取性能；此外，本发明还提供了一种对象聚合装置、设备及计算机可读存储介质，同样具有上述有益效果。

技术领域

本发明涉及分布式存储技术领域，特别涉及一种对象聚合方法、对象聚合装置、对象聚合设备及计算机可读存储介质。

背景技术

分布式对象存储系统，指的是面向非结构化数据的分布式存储系统。现阶段，越来越多的业务场景需要使用分布式对象存储系统。伴随着存储集群中数据量规模愈来愈大，大量的读写请求等操作带来了大量的磁盘IO的消耗，由于集群的IO、吞吐量是有限的，因此需要提高数据的使用的有限性，提升集群的数据读取性能。

在传统的分布式对象存储集群中，通过对象聚合的方式来提升数据读取性能。聚合的过程为遍历某个存储池中的所有小对象，不区分用户等信息的区别而将其逐个读取出来，然后将这些对象的数据部分，通过追加的方式合并成一个大对象，组织合并元数据后，一起写下去，通过对小对象进行聚合的方式减少集群的读写次数。但这样聚合的对象文件不具有相关性(例如用户的相关性、内容的相关性、主题的相关性)，被聚合的对象也不具有关联性，进而导致对象的聚合给后继的读操作、写操作、删除操作等带来不便，集群的数据读取性能提升较小。

因此，如何解决现有对象聚合方法为后续操作带来不便，集群的数据读取性能提升较小的问题，是本领域技术人员需要解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种对象聚合方法、对象聚合装置、对象聚合设备及计算机可读存储介质，解决了现有对象聚合方法为后续操作带来不便，集群的数据读取性能提升较小的问题。

为解决上述技术问题，本发明提供了一种对象聚合方法，包括：

获取目标对象，计算所述目标对象对应的相关性指数；其中，所述目标对象为文件体积小于预设阈值的对象文件；

利用所述相关性指数生成聚合任务，将所述聚合任务放入聚合任务队列；

按照预设相关性顺序从所述聚合任务队列中获取目标聚合任务，利用所述目标聚合任务对应的第一目标对象构建聚合对象，并将所述聚合对象存入存储系统。

可选地，所述计算所述目标对象对应的相关性指数，包括：

读取配置文件，获取多个信息加权系数；

获取所述目标对象对应的多个文件信息，利用各个所述文件信息与对应的所述信息加权系数进行加权的平方和运算，得到所述相关性指数。

可选地，所述获取目标对象，包括：

获取对象文件，判断所述对象文件的所述文件体积是否小于所述预设阈值；

若是，则将所述对象文件确定为目标对象；

若否，则将所述对象文件存入所述存储系统中。

可选地，所述按照预设相关性顺序从所述聚合任务队列中获取目标聚合任务，利用所述目标聚合任务对应的第一目标对象构建聚合对象，包括：

将所述聚合任务队列中的各个聚合任务按照相关性指数由大到小的顺序进行排列；

从所述聚合任务队列的首部开始依次获取所述目标聚合任务，确定所述目标聚合任务对应的所述第一目标对象；