[发明专利]对象归并方法及装置

说明书

本发明公开了一种对象归并方法及装置。其中，该方法包括：接收数据量小于预设阈值的目标对象；将目标对象缓存，并将目标对象写入元数据；将目标对象写入多个归并对象中的一个归并对象；在归并对象中的目标对象的总数据量达到第一预设数据量的情况下，将预设数据量的目标对象写入数据池；在归并对象的总数据量达到第二预设数据量的情况下，将归并对象写入数据池，并更新归并对象的所有目标对象的元数据，其中，第二预设数据量大于第一预设数据量。本发明解决了相关技术中的对象归并方法需要写入缓存池中，再从缓存池中读取，写入归并对象进行归并，不仅占用过多的缓存池资源，而且效率低的技术问题。

技术领域

本发明涉及数据存储领域，具体而言，涉及一种对象归并方法及装置。

背景技术

随着互联网应用的高速度发展，对象存储以其易用性与几乎无限的扁平扩展性获得了广泛地应用。这其中小文件存储的需求越发凸显，但受限于存储后端空间的分配粒度限制，如有的后端SSD分配粒度是256K，HDD分配粒度是1M，海量小文件直接存储会导致巨大的空间浪费。并且小文件写入HDD时，受限于HDD IOPS性能瓶颈，导致写入性能比较低。

面对以上困难，目前业界比较常用的优化方式是对小文件进行归并处理，先把小文件写入到高度缓存池(SSD)中并记录日志，然后聚合一批小文件之后再读取出来组成一个大文件然后重新写入后端数据池(HDD)。使用归并的方法，海量小文件业务空间浪费问题和后端的性能问题都能得到较为明显的改善。

现有常用的归并方式是采用后台归并的方式，即先把小文件写入缓存SSD，然后记录日志。后台归并模块扫描日志，聚集到合适数量之后重新从缓存SSD中读取出小对象然后聚合为一个归并对象写入HDD后端。这种后台归并的方式存在如下缺点：

每个上传的小文件都会经过一次读、两次写，相当于每次IO都额外产生了一次读。对于缓存SSD，进行后台归并时需要读取小对象会产生大量的读IO影响前端写入性能。

由于使用扫描日志的方式后台进行归并，如果前台IO量较大但后台归并又不及时，会导致大量数据积压在缓存SSD，这会加大缓存盘的空间占用量甚至占满缓存空间的情况。

由于后台归并独立于前端IO进行，对前端IO不能有很好的反馈调节作用，容易造成归并小对象大量积攒，很难调节前端处理速率。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种对象归并方法及装置，以至少解决相关技术中的对象归并方法需要写入缓存池中，再从缓存池中读取，写入归并对象进行归并，不仅占用过多的缓存池资源，而且效率低的技术问题。

根据本发明实施例的一个方面，提供了一种对象归并方法，包括：接收数据量小于预设阈值的目标对象；将所述目标对象缓存，并将所述目标对象写入元数据，其中，所述元数据用于记录所述目标对象的存储路径；将所述目标对象写入多个归并对象中的一个归并对象；在归并对象中的目标对象的总数据量达到第一预设数据量的情况下，将所述预设数据量的目标对象写入数据池，其中，所述预设数据量为所述数据池的输入接口的最大写入数据量；在所述归并对象的总数据量达到第二预设数据量的情况下，将所述归并对象写入所述数据池，并更新所述归并对象的所有目标对象的元数据，其中，所述第二预设数据量大于所述第一预设数据量。

可选的，将所述目标对象写入多个归并对象中的一个归并对象包括：确定多个归并对象中处于空闲状态的归并对象，其中，所述空闲状态的归并对象可写入或可缓存等待写入；在所述空闲状态的归并对象为零的情况下，暂停对目标对象的写入；在所述空闲状态的归并对象为一个的情况下，将所述目标对象写入所述归并对象；在所述空闲状态的归并对象为多个的情况下，随机选取的一个归并对象，将所述目标对象写入所述归并对象。