[发明专利]本地与分布式协同设计的可靠闪存存储方法及系统

说明书

本发明公开了一种本地与分布式协同设计的可靠闪存存储方法及系统，该方法包括：闪存设备连接到主机系统时闪存转换层将闪存可靠性信息发给主机，在闪存设备读取数据出错时，将出错数据信息发送给主机；主机对出错数据进行数据恢复，利用分布式容错机制，从远程副本或纠删码中获取正确数据帮助恢复出错数据，主机从先完成数据恢复的一方获取正确数据发送给分布式存储系统；分布式容错机制无法提供恢复出错数据需要的正确数据时，分布式存储系统从正确数据副本所在的闪存设备中的获取原始数据以恢复出错数据。该方法能综合管理分布式存储系统和本地闪存设备的可靠性机制，降低系统读操作延迟，提高闪存设备本地恢复数据的效率，增强存储系统可靠性。

技术领域

本发明涉及计算机技术领域，特别涉及一种本地与分布式协同设计的可靠闪存存储方法及系统。

背景技术

闪存(Flash Memory，简称FM)是一种电子式可擦除编程存储器，与传统的磁盘介质相比，闪存具有读写带宽高、访问延迟低、功耗低、稳定性强的特点，已经在数据中心、个人电脑、移动设备上普及。闪存以页为单位进行读写，当闪存重写一个页之前，需要先进行擦除操作，闪存以块为单位进行擦除，一个闪存块中包含几百个闪存页。闪存的单元具有有限次的擦写(Programming/Erase，P/E)操作，即每个闪存单元具有有限的寿命。

以闪存为基础构建的固态盘(Solid State Drive，简称SSD)采用闪存转换层(Flash Translation Layer，简称FTL)对闪存的读写擦除进行管理，并向软件系统提供与传统磁盘相同的读写接口。闪存转换层主要负责地址映射、垃圾回收、磨损均衡和错误检查和纠正(Error Correction Code，简称ECC)校验等。

随着闪存技术的发展，闪存单元密度不断增加，但可靠性的问题也更加严峻。低密度奇偶校验(Low-Density Parity-Check，简称LDPC)码逐步替代BCH(Bose、Ray-Chaudhuri与Hocquenghem的缩写)编码，应用于固态盘中，以提高存储可靠性。处理读请求时，FTL首先从闪存介质读取数据进行硬解码，这一步的时间较短，通常在75微秒左右，如果硬解码出错，FTL将通过调整阈值电压，多次读取闪存介质数据，使用软解码机制处理数据，会耗费200微妙左右的时间。在一些固态盘中，厂商会在内部增加磁盘阵列(Redundant Arrays ofIndependent Drives，简称RAID)机制，以进一步增加数据可靠性。当LDPC软解码仍然出错时，FTL启动RAID，根据RAID策略读取并恢复数据，再将结果返回给主机，这引入50-100毫秒的延迟。

分布式存储系统中，通常采用多副本或纠删码的方式，存储冗余数据，以提高存储可靠性。分布式存储系统和闪存设备都有可靠性的保障机制，两者在功能上存在冗余，造成了资源的浪费，并且在传统的可靠性机制设计中，分布式系统和闪存设备相互隔离，无法充分利用信息，进行协同设计。例如，当前分布式系统中的节点通过高速的网络互联，网络的延迟很低，访问远程数据可能快于本地的出错处理过程。当本地的闪存设备出错时，仅采用耗时较长的本地恢复机制，导致系统访问延迟的增加。同时，分布式系统无法获取闪存设备的可靠性信息，不能结合该信息对数据布局进行优化。各个闪存设备之间的信息也无法交互，当数据的所有副本都无法恢复时，无法综合利用所有副本的信息，造成数据丢失。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种本地与分布式协同设计的可靠闪存存储方法，该方法能综合管理分布式存储系统和本地闪存设备的可靠性机制，降低系统的读操作延迟，提高闪存设备本地恢复数据的效率，增强存储系统可靠性。

本发明的另一个目的在于提出一种本地与分布式协同设计的可靠闪存存储系统。