[发明专利]一种基于SPDK的对象存储优化方法

说明书

本发明是一种基于SPDK的对象存储优化方法，属于数据存储技术领域。本发明方法包括：配置对象存储系统至少包含3台服务器，每台服务器至少配有1块SSD盘及多块HDD盘，并在对象存储系统安装好SPDK(存储性能开发工具包)驱动库；对象存储系统启动并初始化，自动配置好索引数据的SSD盘和对象数据的HDD盘；上层业务通过对象存储系统的类S3接口写入或读取对象数据；在写入时，对象的索引信息通过SPDK的文件写入接口操作磁盘直接持久化到SSD盘，对象的content通过Linux文件系统接口直接持久化到HDD盘。采用本发明方法提高了对象存储系统的响应速率，提高了对象存储的整体性能，实现了成本和性能的权衡。

技术领域

本发明属于数据存储技术领域，具体涉及一种基于SPDK(存储性能开发工具包)的对象存储优化方法。

背景技术

随着存储技术的不断发展，固态存储设备正在逐渐进入数据中心。目前新一代的固态存储，比起传统磁盘设备，在性能、功耗和机架密度上都具有显著的优势。但相对于传统磁盘，固态盘的价格昂贵，在大规模的数据中心中还不能够作为主要的存储介质，因此闪存类存储设备缓存技术成为当下大数据存储优化研究的重点。现有固态存储设备与磁盘混合介质存储优化技术，在海量对象存储上主要在冷热数据上进行存储的优化。现有技术在进行数据的读写操作时，以内核态的方式访问固态盘，需要通过本地文件系统及驱动才能完成最终访问，IO(输入/输出)路径较长，延时高，固态盘的高性能未被充分利用，很难满足高性能高并发的应用场景的需求。

因此，如何使对象存储系统在固态盘与机械磁盘的场景下，充分利用固态盘的特性提高系统整体的写入、读取能力成为了亟待解决的问题。

发明内容

本发明针对现有对象存储优化未充分利用固态盘的特性的问题，提供了一种基于SPDK驱动库，在用户态下驱动固态盘的对象存储系统优化方法。

本发明提供的基于SPDK的对象存储优化方法，具体步骤如下：

步骤一、配置对象存储系统至少包含3台服务器，每台服务器至少配有1块NVMeSSD盘及若干块HDD盘，同时对象存储系统安装好SPDK驱动库。

步骤二、对象存储系统启动并初始化，根据对象存储系统配置文件自动配置好索引数据的SSD盘和对象数据的HDD盘。

步骤三、上层业务通过对象存储系统的类S3接口写入对象数据，对象的索引信息通过SPDK的文件写入接口操作磁盘直接持久化到SSD盘，对象的content通过Linux文件系统接口直接持久化到HDD盘。

当写入的数据小于一个文件存储块时，通过SPDK文件写入接口将对象的索引数据放入SSD盘的文件存储缓存区，对象索引数据存储有服务对象的键key、对象属性信息及对象内容content的存储位置；将文件存储缓存区中一段时间内的数据，或者文件存储缓存区中大小为一个存储块的数据，压缩为SSD盘的一个文件块，利用伪分布式存储算法放入SSD盘中；文件异步存储服务将SSD文件块逐步移至HDD盘中；对象索引存储服务更新对象索引信息。

当写入的数据大于一个文件存储块时，通过SPDK文件写入接口将对象的索引数据放入SSD盘的文件存储缓存区，对象的索引数据包括对象key、对象属性信息及对象content的存储位置，将文件存储缓存区中的对象索引数据利用伪分布式存储算法放入SSD盘中；文件异步存储服务将对象content按照文件存储块的大小进行分片，并将各片分散存储到各节点的HDD盘中，对象索引存储服务更新对象索引信息，并加入分片信息。

步骤四、上层业务通过对象存储系统的类S3接口读取数据，根据对象key值访问对象的索引数据，再去定位文件所在位置，然后读取对象content信息并返回。