[发明专利]一种聚合对象数据处理方法、系统及相关设备在审
申请号: | 201911379784.2 | 申请日: | 2019-12-27 |
公开(公告)号: | CN111125034A | 公开(公告)日: | 2020-05-08 |
发明(设计)人: | 张增冉;宁韬;陈岩 | 申请(专利权)人: | 深信服科技股份有限公司 |
主分类号: | G06F16/174 | 分类号: | G06F16/174 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 常忠良 |
地址: | 518055 广东省深圳市南*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 聚合 对象 数据处理 方法 系统 相关 设备 | ||
1.一种聚合对象数据处理方法,其特征在于,运用于服务端,所述方法包括:
在所述服务端的存储池中的聚合对象中确定需要进行压缩的目标聚合对象,所述服务端的存储池中的小文件对象以聚合的方式存储于聚合对象;
根据所述目标聚合对象的元数据中的文件释放信息确定未被释放的有效小文件对象,所述文件释放信息中记录有被释放的小文件对象的名称;
根据各个有效小文件对象的数据长度,重新计算各个有效小文件对象的最新逻辑偏移量,使得各个有效小文件对象的逻辑地址连续分布;
读取所述目标聚合对象中的所有有效小文件对象至缓存中,并删除所述目标聚合对象所占用的目标物理存储空间;
根据各个有效小文件对象的最新逻辑偏移量将对应的小文件对象重新写入所述目标物理存储空间。
2.根据权利要求1所述的方法,其特征在于,还包括:
在所述目标聚合对象的元数据中记录各个有效小文件对象的原始逻辑偏移量与最新逻辑偏移量的映射关系。
3.根据权利要求2所述的方法,其特征在于,各个小文件对象的元数据中记录其所属的聚合对象ID、原始逻辑偏移量及数据长度,所述方法还包括:
接收客户端发送的数据提取请求,所述提取请求中包含提取的第一小文件对象的名称;
查询所述第一小文件对象的目标元数据;
根据所述目标元数据中的原始逻辑偏移量查询所述目标小文件对象的最新逻辑偏移量;
根据所述目标小文件对象的最新逻辑偏移量及数据长度在所述目标物理存储空间中提取所述目标小文件对象。
4.根据权利要求1至3中任一项所述的方法,其特征在于,各个聚合对象的元数据中还记录有已存储的所有小文件对象的数据长度之和,所述在所述服务端的存储池中的聚合对象中确定需要进行压缩的目标聚合对象,包括:
根据文件释放信息及已存储的所有小文件对象的数据长度计算各个聚合对象的存储空间使用率;
确定存储空间使用率小于第一预设阈值,且预设时间内未发生修改的聚合对象为目标聚合对象。
5.根据权利要求4所述的方法,其特征在于,还包括:
确定存储空间使用率小于第二预设阈值的聚合对象为强制释放对象;
将所述强制释放对象中的有效小文件对象转存至其它聚合对象中,并删除所述强制释放对象。
6.根据权利要求2至3中任一项所述的方法,其特征在于,还包括:
接收到删除指令,所述删除指令中包含需要被删除的第二小文件对象的名称;
查询所述第二小文件对象的元数据中的聚合对象ID、原始逻辑偏移量及数据长度;
将所述第二小文件对象的元数据中的聚合对象ID、原始逻辑偏移量及数据长度写入所述第二小文件对象的元数据中记录对象中,作为所述文件释放信息中的一种。
7.一种聚合对象数据处理系统,其特征在于,运用于服务端,所述系统包括:
第一确定单元,用于在所述服务端的存储池中的聚合对象中确定需要进行压缩的目标聚合对象,所述服务端的存储池中的小文件对象以聚合的方式存储于聚合对象;
第二确定单元,用于根据所述目标聚合对象的元数据中的文件释放信息确定未被释放的有效小文件对象,所述文件释放信息中记录有被释放的小文件对象的名称;
计算单元,用于根据各个有效小文件对象的数据长度,重新计算各个有效小文件对象的最新逻辑偏移量,使得各个有效小文件对象的逻辑地址连续分布;
读取单元,用于读取所述目标聚合对象中的所有有效小文件对象至缓存中,并删除所述目标聚合对象所占用的目标物理存储空间;
重写单元,用于根据各个有效小文件对象的最新逻辑偏移量将对应的小文件对象重新写入所述目标物理存储空间。
8.根据权利要求7所述的系统,其特征在于,还包括:
记录单元,用于在所述目标聚合对象的元数据中记录各个有效小文件对象的原始逻辑偏移量与最新逻辑偏移量的映射关系。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深信服科技股份有限公司,未经深信服科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911379784.2/1.html,转载请声明来源钻瓜专利网。