[发明专利]数据存储系统和用于写入键值对的对象的方法

说明书

一种数据存储系统，包含：多个数据存储装置，用于存储键值对的多个对象；以及虚拟存储层，基于多个对象中的一个对象的大小而应用不同的数据可靠性方案，所述不同的数据可靠性方案包含数据复制方案以及擦除编码方案。多个对象包含具有第一大小的第一对象以及具有第二大小的第二对象，第二大小大于第一大小。虚拟存储层将第一对象分类为小对象、应用数据复制方案以及将小对象存储在多个数据存储装置中的一个或多个上。虚拟存储层将第二对象分类为超大对象、将超大对象拆分成一个或多个相同大小的分块、应用擦除编码方案以及将一个或多个分块分布式地存储在多个数据存储装置上。也提供一种用于写入键值对的对象的方法。

技术领域

本发明大体上涉及数据存储系统，更具体来说，涉及用于在数据存储系统中存储极大键值对象的方法。

背景技术

数据可靠性是数据存储系统的一个关键要求。使用传统块装置的数据可靠性已得到充分研究，并通过例如独立磁盘冗余阵列(Redundant Array of Independent Disk，RAID)和擦除编码的各种数据复制技术实施。RAID经由数据存储驱动器的集合传播(或复制)数据，以防止特定驱动器的永久性数据丢失。RAID主要分为两类：数据的完整镜像保存于第二驱动器上，或将奇偶校验块添加到数据中以便能够在故障中恢复有故障的块。擦除编码使用复杂算法添加一串奇偶校验块的群聚，所述复杂算法提供可包容高级别故障的强大数据保护和恢复。举例来说，擦除编码虚拟化物理驱动器以创建虚拟驱动器，所述虚拟驱动器可分散在超过物理驱动器上以实现快速恢复。使用 RAID的数据复制对于复制大对象来说可能过于昂贵，而擦除编码可能浪费小对象的存储空间。

键值固态驱动器(key-value solid-state drive，KV SSD)是一种新型存储装置，与例如硬盘驱动器(hard disk drive，HDD)和固态驱动器(solid-state drive，SSD)的常规块装置相比，所述新型存储装置具有不同的接口和语义。 KV SSD可直接存储键值对的数据值。存储在KV SSD中的数据值可根据应用程序以及数据的特性而变大或变小。需要一种有效的数据可靠性模型，用于有效地存储具有不同大小的对象而不出现性能瓶颈和空间限制。

发明内容

根据一个实施例，数据存储系统包含：多个数据存储装置，用于存储键值对的多个对象；以及虚拟存储层，基于多个对象中的一个对象的大小而应用不同的数据可靠性方案，所述不同的数据可靠性方案包含数据复制方案以及擦除编码方案。多个对象包含具有第一大小的第一对象以及具有第二大小的第二对象，第二大小大于第一大小。虚拟存储层将第一对象分类为小对象、应用数据复制方案以及将小对象存储在多个数据存储装置中的一个或多个上。虚拟存储层将第二对象分类为超大对象、将超大对象拆分成一个或多个相同大小的分块、应用擦除编码方案以及将一个或多个分块分布式地存储在多个数据存储装置上。

根据另一实施例，用于写入键值对的对象的方法包含：接收键值对的多个对象，其中多个对象包含具有第一大小的第一对象以及具有第二大小的第二对象，第二大小大于第一大小；将第一对象分类为小对象；对小对象应用数据复制方案；将小对象存储在多个数据存储装置中的一个或多个上；将第二对象分类为超大对象；将超大对象拆分成一个或多个相同大小的分块；对超大对象应用擦除编码方案；以及将一个或多个分块分布式地存储在多个数据存储装置上。

现将参考附图更具体地描述并且在权利要求书中指出以上和其它优选特征，包含实施方案的各种新颖细节和事件的组合。应理解，仅以说明的方式展示本文所描述的特定系统和方法并且不作为限制。如本领域的技术人员将理解，在不脱离本发明的范围的情况下，可在各种和众多实施例中采用本文所描述的原理和特征。

附图说明

作为本说明书的部分包含在内的附图示出本发明优选实施例，并且连同上文给出的总体描述和下文给出的优选实施例的详细描述一起用以阐明和传授本文所描述的原理。

图1绘示根据一个实施例的存储在实例数据存储系统中的对象的示意图。