[发明专利]一种基于内容寻址的对象存储方法和系统

说明书

本发明公开了一种基于内容寻址的对象存储方法和系统，包括：获取基于内容寻址的对象的元数据，所述元数据包括数据指纹；根据所述数据指纹，所述基于内容寻址的对象将数据和元数据进行一致性哈希存储；将所述基于内容寻址的对象进行反向引用和垃圾回收。本发明有效解决了重复的数据被多次存储导致存储空间浪费的问题，提高了对象存储系统的存储设备和网络带宽使用效率。

技术领域

本发明涉及存储系统技术领域，尤指一种基于内容寻址的对象存储方法和系统。

背景技术

随着社会信息化水平的不断提高和互联网技术的高速发展，各类非结构化数据，如图片、音视频、文本资料等呈现出爆炸性增长的趋势，在云存储服务为人们带来便利的同时，数据规模也在急剧膨胀，这对存储海量数据的能力提出了更高的要求。研究表明，数据中高达75％的部分是重复的，存储资源利用率不高的一个重要原因就是数据中存在大量的重复和冗余。

Swift是一个多租户、高可扩展、高持久度的对象存储系统，以尽量低的成本来存储大量的非结构化数据，并利用REST API来对数据进行访问。系统具有强大的可伸缩能力，可以支持上千节点以及PB级的存储的需求，已广泛应用于生产环境中。Swift在设计时不仅考虑到了水平扩展能力和消除单点故障，还希望在服务上支持尽量多的用户数量。

但是，Swift存储系统也在存储海量数据能力以及存储利用率方面存在不足，主要原因在于Swift对象存储系统中完全基于对象的命名进行寻址和放置，对数据存储的内容无感知，故而对数据中存在大量的重复和冗余无法加以处理，造成存储和网络资源的浪费。以上描述的大量冗余数据的挑战，为设计海量分布式对象存储系统结构带来了极大的复杂性，严重影响了存储的实际存储效率。

发明内容

为了解决上述技术问题，本发明提供了一种基于内容寻址的对象存储方法和系统，有效解决了重复的数据被多次存储导致存储空间浪费的问题，提高了对象存储系统的存储设备和网络带宽使用效率。

为了达到本发明目的，本发明提供了一种基于内容寻址的对象存储方法，包括：获取基于内容寻址的对象的元数据，所述元数据包括数据指纹；根据所述数据指纹，所述基于内容寻址的对象将数据和元数据进行一致性哈希存储；将所述基于内容寻址的对象进行反向引用和垃圾回收。

进一步地，所述对象的元数据与数据按照json格式进行编码，保存到一个文件中，数据作为一个blob对象；或者，所述对象的数据存储在文件中，对象的元数据存储在文件的扩展属性xattrs中，选用XFS作为底层的文件系统，XFS将xattrs存储在inode中，并在格式化文件系统时设置inode大小。

进一步地，所述方法还包括对对象的元数据进行维护，具体为：每次更新和获取对象的元数据时记录时间戳，将元数据序列化后写入文件，存储到缓冲区；将缓冲区的文件加入队列，等待写入存储位置；读取时对时间戳进行排序；读取时间戳晚于设定时间的元数据；在每次进行访问时，清除掉系统中早于设定时间的元数据文件。

进一步地，所述基于内容寻址的对象将数据和元数据进行一致性哈希存储，具体为：将对象的命名与对象的存储位置进行解耦合；将对象的数据和元数据进行一致性哈希存储，并根据数据指纹，将对象的数据与存储位置建立映射关系。

进一步地，所述方法还包括对对象的数据进行一致性维护，具体为：节点完成数据校验，如果校验出错，将损坏的数据移入隔离区；对象同步服务进程遍历本地文件系统，每次检查远程节点中是否存在最新的副本，如果不存在，则主动推送一份本地数据，如果存在，则终止；对象同步服务进程对数据循环检查。

进一步地，所述方法还包括对对象的元数据进行一致性维护，具体为：根据Quorum协议，超过半数副本完成写入确定元数据的写入成功；根据反熵协议，对于对象的每一个副本，以泛洪的方式分别向其余的副本推送本地时间戳最新的元数据，直到所有的副本达到带有最新时间戳的元数据一致状态。