[发明专利]一种聚合对象数据处理方法、系统及相关设备

说明书

本发明实施例提供了一种聚合对象数据处理方法、系统及相关设备。本发明实施例中，可以根据各个有效小文件对象的数据长度，重新计算各个有效小文件对象的最新逻辑偏移量，使得各个有效小文件对象的逻辑地址连续分布，然后读取目标聚合对象中的所有有效小文件对象至缓存中，并删除目标聚合对象所占用的目标物理存储空间，最后根据各个有效小文件对象的最新逻辑偏移量将对应的小文件对象重新写入目标物理存储空间。相对于现有技术，由于整个处理过程在服务端进行实施，减少了目标文件元数据在客户端与服务端之间的数据跳转，节约了带宽资源，提高了数据管理效率。同时，在物理存储空间上实现了无效小文件对象的释放，提高了存储空间利用率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种聚合对象数据处理方法、系统及相关设备。

背景技术

小文件聚合技术：通过将多个小文件对象聚合成一个聚合对象进行存储实现高效的文件存储。比如淘宝应用程序的TFS和facebook应用程序的hash stack，都采用了类似的技术，提供海量图片的访问。

在现有的聚合对象管理方式中，多个小文件对象共用一个对象，删除聚合对象中的小文件对象，只是逻辑上的删除(删除了小文件对象的映射关系)，并不能真正释放被删除的所占用的空间，导致存储空间的浪费。

同时，常见的逻辑上的空间清理是在客户端进行修改小文件对象的元数据。由于整个处理过程在客户端进行实施，客户端需要先从服务端获取小文件对象的元数据，然后再发送清理操作指令，即空间清理至少数据需要至少两次网络跳转，浪费带宽资源，费时费力，管理效率低下。

发明内容

本发明实施例提供了一种聚合对象数据处理方法、系统及相关设备，用于提高存储空间利用率，提高文件管理的效率。

本发明实施例第一方面提供了一种聚合对象数据处理方法，运用于服务端，所述方法可包括：

在所述服务端的存储池中的聚合对象中确定需要进行压缩的目标聚合对象，所述服务端的存储池中的小文件对象以聚合的方式存储于聚合对象；

根据所述目标聚合对象的元数据中的文件释放信息确定未被释放的有效小文件对象，所述文件释放信息中记录有被释放的小文件对象的名称；

根据各个有效小文件对象的数据长度，重新计算各个有效小文件对象的最新逻辑偏移量，使得各个有效小文件对象的逻辑地址连续分布；

读取所述目标聚合对象中的所有有效小文件对象至缓存中，并删除所述目标聚合对象所占用的目标物理存储空间；

根据各个有效小文件对象的最新逻辑偏移量将对应的小文件对象重新写入所述目标物理存储空间。

可选的，作为一种可能的实施方式，本发明实施例中的聚合对象数据处理方法还可以包括：

在所述目标聚合对象的元数据中记录各个有效小文件对象的原始逻辑偏移量与最新逻辑偏移量的映射关系。

可选的，作为一种可能的实施方式，本发明实施例中，各个小文件对象的元数据中记录其所属的聚合对象ID、原始逻辑偏移量及数据长度，所述方法还可以包括：

接收客户端发送的数据提取请求，所述提取请求中包含提取的第一小文件对象的名称；

查询所述第一小文件对象的目标元数据；

根据所述目标元数据中的原始逻辑偏移量查询所述目标小文件对象的最新逻辑偏移量；

根据所述目标小文件对象的最新逻辑偏移量及数据长度在所述目标物理存储空间中提取所述目标小文件对象。

可选的，作为一种可能的实施方式，本发明实施例中，各个聚合对象的元数据中还记录有已存储的所有小文件对象的数据长度之和，所述在所述服务端的存储池中的聚合对象中确定需要进行压缩的目标聚合对象，包括：