[发明专利]一种对象聚合方法、系统、装置及计算机存储介质

说明书

本申请公开了一种对象聚合方法、系统、装置及计算机存储介质，应用于分布式对象存储系统，包括：S11：接收小对象至存储池；S12：判断小对象是否为覆盖写；S13：若是，则判断与小对象的OID相同的旧对象是否已经聚合；S14：若已经聚合，则将旧对象的位图信息设置为无效，执行S16；S15：若未聚合，则对旧对象直接覆盖写，执行S16；S16：在存储池中利用小对象的OID和修改时间，生成与小对象对应的对象标记；S17：聚合线程利用对象标记获取小对象，并对小对象进行聚合。本申请在新对象聚合后，生成与小对象对应的对象标记，以使聚合线程仍能够通过新的对象标记查找到新的小对象，并重新对小对象进行聚合操作，实现了在覆盖写的同时也能够进行聚合。

技术领域

本发明涉及分布式存储系统领域，特别涉及一种对象聚合方法、系统、装置及计算机存储介质。

背景技术

当前的分布式对象存储系统中，已经实现同桶同名对象覆盖上传的功能。客户端在上传同名对象到同一个桶时，新对象数据覆盖原有同桶同名对象数据。下载对象时，获取新上传的对象数据，返回给客户端。

当前的分布式对象存储系统中，针对普通海量小对象已经实现了小对象聚合的功能，把多个小对象聚合为一个大对象，减少了Rados(Reliable,Autonomic DistributedObject Store)的对象数量，可以大大加快集群的重构速度，并提高系统的性能。

但现有技术中新对象一旦对旧对象覆盖写，在之后聚合过程中，就会因无法查找到新对象而不能进行聚合，因此，当前小对象聚合功能并不支持对覆盖写对象进行聚合。

为此，需要一种能够支持覆盖写的对象聚合方法。

发明内容

有鉴于此，本发明的目的在于提供一种对象聚合方法、系统、装置及计算机存储介质，能够在覆盖写之后继续聚合。其具体方案如下：

一种对象聚合方法，应用于分布式对象存储系统，包括：

S11：接收小对象至存储池；所述小对象为大小满足聚合条件的对象；

S12：判断所述小对象是否为覆盖写；

S13：若是，则判断与所述小对象的OID相同的旧对象是否已经聚合；

S14：若已经聚合，则将所述旧对象的位图信息设置为无效，执行S16；

S15：若未聚合，则对所述旧对象直接覆盖写，执行S16；

S16：在所述存储池中利用所述小对象的OID和修改时间，生成与所述小对象对应的对象标记；

S17：聚合线程利用所述对象标记获取所述小对象，并对所述小对象进行聚合。

可选的，所述聚合线程利用所述对象标记获取所述小对象，并对所述小对象进行聚合的过程，包括：

聚合线程利用所述对象标记获取所述小对象对应的数据，并对所述小对象和其它小于512K的小文件进行聚合，得到聚合后的聚合大对象，当所述聚合大对象达到刷盘条件后，将所述聚合大对象写入OSD磁盘。

可选的，还包括：

删除小对象中的数据，并在小对象的头对象中添加聚合扩展属性；

删除所述存储池中所述对象标记。

可选的，所述将所述旧对象的位图信息设置为无效之后，还包括：

对位图信息无效的所述旧对象进行垃圾回收操作。

本发明还公开了一种对象聚合系统，应用于分布式对象存储系统，包括：

对象接收模块，用于接收小对象至存储池；所述小对象为大小满足聚合条件的对象；