[发明专利]一种分布式存储系统的读写控制方法和系统

说明书

本发明公开一种分布式存储系统的读写控制方法和系统，其中，分布式存储系统的读写控制方法包括：根据磁盘的层写入顺序，将SST文件写入磁盘的空余层，其中，SST文件包括key值；当磁盘的空余层写满时，根据key值与磁盘存储空间对应关系，按照预设压缩策略对同key值的SST文件进行合并压缩；根据层写入顺序，将合并压缩后的SST文件写入磁盘的下一空余层；当需要读取SST文件时，根据key值与磁盘存储空间对应关系，读取磁盘中的SST文件。本发明的技术方案能解决现有技术现有磁盘读写方式会带来读放大和写放大的问题，严重降低SSD的使用寿命的的问题。

技术领域

本发明涉及分布式存储技术领域，尤其涉及一种分布式存储系统的读写控制方法和系统。

背景技术

现有的分布式存储系统，其底层架构多采用新型对象存储引擎Bluestore进行落盘管理。Bulestore会将所有元数据以kv(key-value，键值对)形式写入分布式存储系统的RocksDB中。

RocksDB是一个C++数据库，用于存储kv数据并且支持原子读写，在配置上具有较高灵活性，并且RockDB能够在各种生产环境中运行。RocksDB是基于LSM-Tree数据结构的，能够将离散的随机写请求都转换成批量的顺序写请求，从而提高写性能。但RocksDB也同时引入读放大和写放大等问题。读放大是因为RockDB基于LSM-Tree数据结构，因此Bluestore在对RockDB执行读请求时，需要一层一层对磁盘空间进行二分法查询，这过程可能会进行多次IO操作；另外，写放大是指Bluestore实际写入的数据要比写请求大。

在机械硬盘HDD作为主流存储介质时，写放大的问题并没有很明显，原因是HDD的顺序读写性能远远优于随机读写性能，足以抵消写放大带来的开销；HDD的写入量基本不影响其使用寿命。然而，现在固态硬盘SDD逐渐成为主流存储介质，其写放大的问题明显：因为SSD顺序读写性能与随机读写性能差距相对HDD不大，这就导致SSD必须先擦除(erase)再写入，现有的磁盘读写方式严重降低SSD的使用寿命。

发明内容

本发明提供了一种分布式存储的读写控制方法和系统，旨在解决现有技术中现有的磁盘读写方式会带来读放大和写放大的问题，严重降低SSD的使用寿命的问题。

为解决上述问题，根据本发明的第一方面，本发明提供了一种分布式存储系统的读写控制方法，包括：

根据磁盘的层写入顺序，将SST文件写入磁盘的空余层，其中，SST文件包括key值；

当磁盘的空余层写满时，根据key值与磁盘存储空间对应关系，按照预设压缩策略对同key值的SST文件进行合并压缩；

根据层写入顺序，将合并压缩后的SST文件写入磁盘的下一空余层；

当需要读取SST文件时，根据key值与磁盘存储空间对应关系，读取磁盘中的SST文件。

优选地，上述根据key值与磁盘存储空间对应关系，按照预设压缩策略对同key值的SST文件进行合并压缩的步骤，包括：

通过SST文件的key值从SST文件获取hash值；

使用磁盘的level-hash对照表，判断是否已有同key值的SST文件写入磁盘；

若判定已有同key值的SST文件写入磁盘，则根据level-hash对照表以及磁盘的block-hash对照表，查找并合并同key值的SST文件；

若判定未有同key值的SST文件写入磁盘，则根据SST文件需要写入的位置，修改磁盘的level-hash对照表和block-hash对照表。

优选地，上述根据key值与磁盘存储空间对应关系，读取磁盘中的SST文件的步骤，包括：