[发明专利]一种分布式对象存储方法、装置、电子设备及存储介质

说明书

本申请实施例提供了一种分布式对象存储方法、装置、电子设备及存储介质。用于提升SMR磁盘的空间利用率。包括：根据客户端发送的对象的存储请求，确定所述对象是否为第一对象；在确定所述对象为第一对象时，确定是否存在第一空间集合ZG复用列表；在确定存在第一ZG复用列表时，从第一ZG复用列表中确定第一ZG；向客户端发送第一信息，以使所述客户端根据存储节点列表将第一对象的数据写入对应的存储节点，以及使存储节点根据zgId和Zone的映射关系接着第一ZG中每个Zone当前写指针的位置顺序写入客户端待写入的数据。

技术领域

本发明涉及分布式对象存储领域，尤其涉及一种分布式对象存储方法、装置、电子设备及存储介质。

背景技术

随着网络大数据时代的来临，数据存储技术面对前所未有的挑战。例如，在监控领域，随着高清化及智能化要求的不断提升，对于数据存储的要求越来越高。

为了应对视频监控中数据存储量答即数据吞吐性高的特征，叠瓦式磁记录(Shingled Magnetic Recording，SMR)相继诞生。SMR硬盘通过重叠磁道，重新调整数据存储的方式，进而提高了磁道密度，从而增加了单碟的容量。然而正是由于SMR磁盘物理上的特点，导致了SMR磁盘的读行为虽然与普通机械硬盘无异，但是写行为却有着巨大的差异，不支持随机写和原地更新写，仅支持从头到尾顺序写入。

在分布式对象存储系统中，一个对象的存储文件同时写入多个空间Zone，所述多个Zone构成一个空间集合(ZoneGroup，ZG)，若上一次写入时，写入对象的存储文件没有占满整个ZG的Zone，且下一次执行写入操作时，下一个对象的存储文件不再继续写入此ZG，将会导致此ZG内Zone未写满导致空间浪费的问题。且，针对一些小文件的存储场景，可能会加剧空间的浪费，使得整个存储系统的垃圾容量占比较高，进而使得SMR磁盘的空间利用率较低。

因此，如何提升SMR磁盘的空间利用率是目前亟待解决的技术问题。

发明内容

本申请实施例提供了一种分布式对象存储方法、装置、电子设备及存储介质。用于提升SMR磁盘的空间利用率。

第一方面，提供一种分布式对象存储方法，所述方法包括：

根据客户端发送的对象的存储请求，确定所述对象是否为第一对象，所述第一对象为对象存储文件中的第一个对象；

在确定所述对象为第一对象时，确定是否存在第一空间集合ZG复用列表，所述第一ZG复用列表对应的复用键key与所述第一对象对应的复用key相同，所述第一ZG复用列表中的每个ZG包括SMR磁盘的多个Zone；

在确定存在所述第一ZG复用列表时，从所述第一ZG复用列表中确定第一ZG，所述第一ZG为所述第一ZG复用列表中创建时刻最早的ZG；

向所述客户端发送第一信息，所述第一信息包括所述第一ZG的zgId和所述第一ZG中每个Zone对应的存储节点列表，以使所述客户端根据所述存储节点列表将所述第一对象的数据写入对应的存储节点，以及使所述存储节点根据zgId和Zone的映射关系接着所述第一ZG中每个Zone当前写指针的位置顺序写入所述客户端待写入的数据。

可选的，所述复用key包括bucket、纠删码和文件类型。

可选的，所述向所述客户端发送第一信息，包括：

确定所述第一ZG的剩余空间大小；

若所述第一ZG的剩余空间大小小于所述第一对象的数据的大小，则生成新的第二ZG；

所述第一信息包括：所述第二ZG的zgId和所述第二ZG中每个Zone对应的存储节点列表。

可选的，还包括：

确定所述第一ZG复用列表中每个ZG内的Zone对应的存储节点是否发生异常；