[发明专利]对象存储系统中的对象数据的更新方法和更新装置有效
申请号: | 201610004530.2 | 申请日: | 2016-01-04 |
公开(公告)号: | CN105677250B | 公开(公告)日: | 2019-07-12 |
发明(设计)人: | 张晨;杨奋强 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 对象 存储系统 中的 数据 更新 方法 装置 | ||
本申请公开了对象存储系统中的对象数据的更新方法和更新装置。所述方法的一具体实施方式包括:接收用户的对象数据更新请求,其中,对象数据更新请求包括更新请求的类型和待更新的对象数据的身份信息;基于待更新的对象数据的身份信息获取待更新的对象数据的元数据;基于更新请求的类型对待更新的对象数据的元数据执行第一预定操作;基于待更新的对象数据的身份信息获取待更新的对象数据的实际数据;以及基于更新请求的类型对待更新的对象数据的实际数据执行第二预定操作。该实施方式实现了对象存储系统中对象数据的高效删除/复制。
技术领域
本申请涉及计算机技术领域,具体涉及数据存储技术领域,尤其涉及对象存储系统中的对象数据的更新方法和更新装置。
背景技术
在云计算服务中,对象存储服务是一个非常重要的基础服务。对象存储服务将数据作为对象写在用户的存储区域中,用户可以写入、读取和删除该存储区域中的对象。
在现有的对象存储系统中,可以支持的最大单个对象数据的大小为5T。现有的对象存储系统在进行数据存储时,通常采用将数据切分成小块存储,并使用元数据(metadata)来维护对象和各小块数据之间的关系。
一般而言,用户对数据的操作包括复制操作和删除操作。
对删除操作而言,现有的技术方案可以概括为两种:
1、直接删除:用户发起删除对象的操作之后,系统就直接删除该对象相关的数据块和metadata。
2、垃圾回收:删除时并不立即释放物理空间,而是采用惰性策略,在周期性的常规垃圾扫描才回收物理空间。
对复制操作而言,现有技术的方案为直接复制。
对于现有的直接复制和直接删除操作,其处理逻辑复杂,容易失败。特别地,当对象数据较大时,甚至会涉及到几十万个数据块的复制/删除,若处理过程中出现异常或失败,不仅可能导致垃圾数据或者数据不完整的情况发生,还容易导致metadata数据不一致的情况发生。此外,当对象数据较大时,复制/删除操作的过程时间长,导致对象存储系统压力较大。若多个用户同时发起大量的复制/删除操作,容易使系统负载陡然上升,甚至无法执行相应的操作。
对于现有的删除操作中的垃圾回收的方案,其主要缺点是对存储空间的浪费。
发明内容
本申请的目的在于提出一种改进的对象存储系统中的对象数据的更新方法和更新装置,来解决以上背景技术部分提到的技术问题。
第一方面,本申请提供了一种对象存储系统中的对象数据更新方法,其中,对象存储系统中存储有多个对象数据,每个对象数据包括元数据和分片存储的实际数据,方法包括:接收用户的对象数据更新请求,其中,对象数据更新请求包括更新请求的类型和待更新的对象数据的身份信息;基于待更新的对象数据的身份信息获取待更新的对象数据的元数据;基于更新请求的类型对待更新的对象数据的元数据执行第一预定操作;基于待更新的对象数据的身份信息获取待更新的对象数据的实际数据;以及基于更新请求的类型对待更新的对象数据的实际数据执行第二预定操作。
在一些实施例中,更新请求的类型包括复制请求,待更新的对象数据包括待复制对象数据,待复制对象数据的身份信息包括复制对象数据的源存储地址信息和目标存储地址信息;基于更新请求的类型对待更新的对象数据的元数据执行第一预定操作包括:将待复制对象数据的元数据作为目标对象数据的元数据存储至目标存储地址;基于更新请求的类型对待更新的对象数据的实际数据执行第二预定操作包括:将待复制对象数据的实际数据作为目标对象数据的实际数据存储到目标存储地址。
在一些实施例中,将待复制对象数据的元数据作为目标对象数据的元数据存储至目标存储地址包括:在待复制对象数据的元数据中,添加复制任务标识。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610004530.2/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种日志数据管理方法及系统
- 下一篇:数据块的划分方法、装置及系统
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置