[发明专利]一种基于内容寻址的对象存储方法和系统

权利要求书

1.一种基于内容寻址的对象存储方法，应用于Swift存储系统，其特征在于，包括：

获取基于内容寻址的对象的元数据，所述元数据包括数据指纹；

将对象的命名与对象的存储位置进行解耦合；

将对象的数据和元数据进行一致性哈希存储，并根据数据指纹，将对象的数据与存储位置建立映射关系，使用统一资源定位符URL，定位数据在存储节点上的位置；

将所述基于内容寻址的对象进行反向引用和垃圾回收。

2.根据权利要求1所述的基于内容寻址的对象存储方法，其特征在于，所述对象的元数据与数据按照json格式进行编码，保存到一个文件中，数据作为一个blob对象；或者，

所述对象的数据存储在文件中，对象的元数据存储在文件的扩展属性xattrs中，选用XFS作为底层的文件系统，XFS将xattrs存储在inode中，并在格式化文件系统时设置inode大小。

3.根据权利要求1所述的基于内容寻址的对象存储方法，其特征在于，所述方法还包括对对象的元数据进行维护，具体为：

每次更新和获取对象的元数据时记录时间戳，将元数据序列化后写入文件，存储到缓冲区；将缓冲区的文件加入队列，等待写入存储位置；读取时对时间戳进行排序；读取时间戳晚于设定时间的元数据；在每次进行访问时，清除掉系统中早于设定时间的元数据文件。

4.根据权利要求1所述的基于内容寻址的对象存储方法，其特征在于，所述方法还包括对对象的数据进行一致性维护，具体为：

节点完成数据校验，如果校验出错，将损坏的数据移入隔离区；对象同步服务进程遍历本地文件系统，每次检查远程节点中是否存在最新的副本，如果不存在，则主动推送一份本地数据，如果存在，则终止；对象同步服务进程对数据循环检查。

5.根据权利要求1所述的基于内容寻址的对象存储方法，其特征在于，所述方法还包括对对象的元数据进行一致性维护，具体为：

根据Quorum协议，超过半数副本完成写入确定元数据的写入成功；

根据反熵协议，对于对象的每一个副本，以泛洪的方式分别向其余的副本推送本地时间戳最新的元数据，直到所有的副本达到带有最新时间戳的元数据一致状态。

6.根据权利要求1所述的基于内容寻址的对象存储方法，其特征在于，所述反向引用包含Create原语、Merge原语和Delete原语，其中，

Create原语用来生成一条反向引用信息backref，并放入对象的存储目录中；Merge原语负责将单条反向引用信息backref并入反向引用映射表backmap，backmap的时间版本信息为backref的最大时间戳；Delete原语负责将已并入反向引用映射表的单条反向引用信息backref删除。

7.根据权利要求6所述的基于内容寻址的对象存储方法，其特征在于，所述将所述基于内容寻址的对象进行反向引用和垃圾回收，具体为：

当对象存储时，在接口的PUT操作和DELETE操作时调用Create原语；在进行对象同步服务时，进行合并和删除已处理的backref；垃圾回收器检查backmap中是否为空，如果为空则将对象回收。

8.根据权利要求7所述的基于内容寻址的对象存储方法，其特征在于，所述将对象回收，具体为：

对象同步服务调用Merge原语时对backmap加锁，垃圾回收器放弃对backmap的访问；如果垃圾回收器发现仍有未被并入的backref存在，在下一个清理时间对对象进行处理。

9.一种应用权利要求1～8中任一项方法的基于内容寻址的对象存储系统，其特征在于，包括：

应用层，用于和应用程序接口；

对象访问，用于通过应用层提供网络应用服务，其中网络应用服务包括对象审计服务，对象同步服务，持续更新服务和垃圾回收服务；

数据存储，用于负责接收和处理数据请求，以及完成对数据对象的读写操作，其中数据存储包括存储访问、块存储接口和磁盘。