[发明专利]平衡多级存储性能与固态硬盘寿命的数据缓冲方法

说明书

技术领域

本发明涉及数据存储技术领域，尤其涉及一种平衡多级存储性能与固态硬盘寿命的数据缓冲方法。

背景技术

随着计算机技术的发展和互联网的普及，特别是云计算的兴起，人们对存储性能的需求不断提高。互联网上持续增长的海量数据对后台存储系统的性能有着很高的要求。目前的存储系统将重点放在分布式上，通过集群扩展来提高性能，并借助分布式缓存和内容分发网络（Content distribution network，CDN）来提升热点数据的读取性能。因此，存储系统需要关注数据写入性能的瓶颈，除了依赖集群扩展外，还应考虑提升单机性能。

多级存储体系是一种常用的提升单机存储性能的方法。基于闪存的固态硬盘（Solid State Disk，SSD）具有优秀的随机和连续读写能力，因此以固态硬盘作为机械硬盘（Hard Disk Drive，HDD）的数据读写缓冲区的多级存储体系成为了存储系统中的重要组成部分，数据先写入固态硬盘，由于固态硬盘的容量小，数据最终会被迁移至机械硬盘。

固态硬盘中的每个存储单元的擦写次数有限，超过该上限的存储单元极易损坏，无法安全地存储数据，导致固态硬盘的寿命有限。另外，由于价格昂贵，且固态硬盘的容量小，导致数据从固态硬盘迁移到机械硬盘的次数多，增加了固态硬盘的数据擦写次数，进一步降低了固态硬盘的使用寿命，提高使用的成本。因此，如何在充分利用固态硬盘性能的同时延长其使用寿命，降低成本，将成为存储系统需要考虑的重要问题。

目前常见的多级存储体系中延长固态硬盘寿命的方法包括：

1）基于请求特性适配的方法。这类方法考虑了固态硬盘和机械硬盘各自的特性，并根据存储请求的特性进行IO调度。由于固态硬盘的优势主要体现在随机读写能力上，因此将小数据先写入固态硬盘，而大数据直接写入机械硬盘，从而减少固态硬盘的擦写次数。

2）基于负载控制的方法。这类方法完全基于固态硬盘的寿命指标，根据其最大擦写能力和用户期望寿命（手动设定使用时长），计算出单位时间内的额定写入负载量，该负载量内的数据写入固态硬盘，超出该负载量的数据直接写入机械硬盘。同时，根据过去未使用的负载量计算储备负载量，用于在突发情况下动态调整短期额定写入负载量。

但是在实际应用场景中，用户请求数量会随着时间波动，形成负载波动特性，甚至低负载时仅使用机械硬盘就能满足性能需求了；同时机械硬盘的离散数据操作也能提供一定的读写性能。以上两类方法均缺少对负载波动特性的考虑，也没有充分利用机械硬盘的性能资源，调度策略不够灵活，对固态硬盘的寿命保护不足，有待进一步改进。并且第二类方法中衡量指标过于单一，过于注重寿命而缺少了对性能指标的保证。

发明内容

本发明针对现有技术的数据缓冲方法在提高固态硬盘寿命时对实际使用情况考虑不全面的问题，提供了一种在考虑数据大小、负载波动特性与机械硬盘工作状态，且保证数据读写性能的条件下，延长固态硬盘使用寿命的数据缓冲方法。

一种平衡多级存储性能与固态硬盘寿命的数据缓冲方法，应用于安装有固态硬盘和机械硬盘的服务器上，在数据的读取和写入时分别执行如下步骤：

数据读取：判断数据的存放位置，根据存放位置对应地从固态硬盘或机械硬盘中读取；

数据写入：根据写入请求判断数据的大小类型，分别执行如下操作：

S1）若数据大于阀值，则为大数据，直接写入机械硬盘；

S2）若数据小于或等于阀值，则为小数据，此时若机械硬盘空闲，则写入机械硬盘，若机械硬盘繁忙则写入固态硬盘。

本发明的数据缓冲方法将大数据直接写入机械硬盘，小数据选择性地使用固态硬盘缓冲，当机械硬盘工作状态空闲时，优先将小数据写入机械硬盘。由于充分考虑了数据大小、负载波动特性与机械硬盘工作状态，因此在保证数据读写性能的同时能够降低固态硬盘的读写次数，提升使用寿命。

在所述数据的读取和写入之前，还包括初始化过程，初始化过程中在所述存储服务器的内存中建立固态硬盘缓冲数据的索引哈希表和索引LRU双向链表，在数据读取时，根据所述索引哈希表和索引LRU双向链表判断数据的存放位置。

建立索引哈希表用于查询数据的存储位置，有利于于提高读取速度。建立索引LRU双向链表用于区分热点与非热点数据，有利于保留热点数据来提升读取性能。

所述步骤S2）中，判定机械硬盘的空闲与繁忙时，若机械硬盘当前状态同时符合以下条件，则判定机械硬盘空闲：

a）机械硬盘当前无大数据读写操作，

b）机械硬盘当前无数据迁移操作，