[发明专利]一种基于一致性哈希的分层混合存储系统

说明书

本发明公开了一种基于一致性哈希的分层混合存储系统，属于计算机存储领域，可以最大化利用各种存储介质特性，合理采用存储策略，从而提高系统性能。本发明内容包括：根据存储介质、存储策略的差异设计分层一致性哈希环；在分层一致性哈希环中存储对象通过访问频率、容量等指标进行分层存储；引入监控模块，确定不同时间段采集数据频率及其迁移阈值；引入调度模块，针对数据随时间冷热变化，进行合理的升降级数据迁移调度；采用森林数据结构管理SSD集群数据信息。本发明针对负载特性进行分层存储，根据存储对象特点提供不同存储介质及存储策略，增强系统灵活性、提高系统读写性能，并保证其稳定性。

技术领域

本发明属于混合存储技术领域，更具体地，涉及一种基于一致性哈希的分层混合存储系统。

背景技术

存储系统设计一直趋向于追求高性能、大容量、低成本的特性。传统磁盘(HDD)容量大、价格低，但是机械特性导致其耗能高、随机读写性能较差。固态硬盘(SSD)采用半导体技术以闪存(flash)为存储介质，相对于HDD具有随机读写速度快、功耗低、抗震性能好等优点。由于向SSD写数据前需进行擦除操作，因此对其寿命造成影响，此外SSD容量较小且价格昂贵。显然存储系统不适合用SSD作为其唯一存储器件，更倾向于兼容多种存储介质。现代存储系统利用高性能存储介质作为低性能存储介质读写缓存，如SSD用来快速读写，HDD用作永久存储，缓解内存到磁盘读写速度不一致问题，但是SSD等高性能存储介质仅仅发挥缓存作用，没有利用到其硬盘的性质。为进一步发挥SSD等高性能存储介质存储的性能，有些存储系统在高性能存储介质存放小容量的和经常被访问到的数据，而低性能存储介质存放大的和冷的数据。此外针对不同特性数据选择不同冗余存储策略。副本策略具有高可靠性，读性能优化的特点，但是成本开销大；纠删码存储策略用读写时间换取高可靠性及低成本开销。因此许多存储系统会将对象以两种方式存储，即一种采用副本，一种采用纠删码。承担绝大部分读请求的主存储节点存储对象的完整副本，而纠删码节点保证了在主存储节点故障后依然可以对外提供服务。这种方式具有高可靠性，高读写性能，但浪费一定的存储开销，且副本节点承担大部分请求，易造成拥塞。

存储系统中一个关键性的问题是管理逻辑地址到物理地址的映射(文件名到具体存放的磁盘位置)，许多存储系统使用一致性哈希算法解决这一问题。一致性哈希算法策略具有较好的负载平衡、最大程度避免存储介质变动引起的数据迁移、大大减小数据查询的时间开销等优越性。但是一致性哈希算法建哈希环过程中，仅仅只考虑到环上各存储节点存储容量的差异，这使得当存储对象同时存入性能相差较大的不同节点时，其整体性能总取决于性能最低的节点，没有充分利用各存储介质的特性。其次，研究表明存储系统中80％的请求访问了20％的数据，Spc协会发布的财务访问数据表明80％的访问集中于22％存储文件，大部分的请求集中于对小文件、热数据的访问，而针对大数据、冷数据的请求较少。存储系统中对冷热数据、大小文件不加以区别对待，可能出现冷数据、大文件分配存储于高性能设备，但是大部分时间不被访问；而热数据、小文件可能分配存储于低性能设备，而被时常访问。以上情况不仅仅降低了存储系统性能，同时还大大降低了系统利用率。

现代存储系统没有综合考虑存储介质、数据大小、数据冷热、客户访问特性以及冗余存储策略的选择，忽略了客户访问偶然性特点，且数据迁移频率高，影响系统效率，不具有通用性。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于一致性哈希的分层混合存储系统，由此解决现代存储系统没有综合考虑存储介质、数据大小、数据冷热、客户访问特性以及冗余存储策略的选择，忽略了客户访问偶然性特点而导致的数据迁移频率高，影响系统效率以及不具有通用性的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于一致性哈希的分层混合存储系统，包括：分层一致性哈希环、监控模块以及调度模块；