[发明专利]一种分布式存储的预读写方法及装置

说明书

本发明公开了一种分布式存储的预读写方法及装置，预读写方法步骤包括：存储客户端连续进行数据块读取；统计预测模块对单个数据块进行统计，统计其后所需要读取的数据块，计算这些数据块读取的次数，并进行排序；重复计算数据块，对所需要读取的数据块统计完成，形成统计结果；在下一次存储客户端需要读取数据块时，对每一块被存储客户端读取的数据块，在其后要读取的数据块均经过统计预测模块进行预测；根据统计结果，将每一块数据块后的被读取次数最多的数据块，预测其为下一块需要读取的数据块。本发明通过对读取下一块的数据块进行有效预测，提高了分散数据的预读取效率，减少了数据块的频繁读取频率。

技术领域

本发明涉及分布式存储技术领域，特别涉及一种分布式存储的预读写方法及装置。

背景技术

分布式存储是一种常见的存储方法，通常把一块数据内容分成不同的小块保存到多台存储设备上，跟集中保存方式的明显区别就是分布式，数据是分散地存储在不同的存储设备上。

目前分布式存储都是把一块数据按照固定的大小分成若干份，然后把这些小数据块分散地保存到整个集群设备之上。通常为了降低设备故障所带来的影响，这些小数据块都采取了尽量分散分布的原则。但是这种分散的数据保存方式有个缺点，就是无法很好地实现预读写功能。

当前，数据在进行读取时，一般都需要提前预读写数据，其中，预读写功能就是预测接下来将要读写的磁盘数据，提前进行加载。而在非分布式存储的传统保存数据是连续的，数据一块挨着一块存储，进行预读写一般都是预测临近的下一块数据进行预读写。然而，在数据使用了分布式存储之后，连续的数据都被拆分成不同的小数据块，且散落在不同的设备上，系统往往无法预测有可能接下来要读写的数据放在哪里。因此，分布式存储在数据预读写时，会不断访问不同的小数据块，然后合并小数据块形成连续的数据，这过程会大大增加分布式存储系统的读取数据频率，而且预读写效率低下。

发明内容

本发明要解决的技术问题在于，提供一种分布式存储的预读写方法及装置，通过记录连续读写的数据块及其读取次数，在第一块数据进行读写的时候，就根据历史统计数据来分析并预计接下来要读写的下一块数据及对应的存放位置，对下一块数据进行预读写操作，从而提升数据块的读写效率。

为解决上述技术问题，本发明提供如下技术方案：一种分布式存储的预读写方法，包括以下步骤：

S1、存储客户端连续对分布式存储系统进行数据块读取；

S2、统计预测模块对单个数据块进行统计，统计其后所需要读取的数据块，并计算这些数据块中的每一块数据块被读取的次数，按次数从大到小对这些数据块进行排序；

S3、重复步骤S2，直至对存储客户端所需要读取的数据块统计完成，并形成统计结果后，存储于统计预测模块中；

S4、在下一次存储客户端需要读取数据块时，从存储客户端读取的第一块数据块开始，对每一块被存储客户端读取的数据块，在其后要读取的数据块均经过统计预测模块进行预测；统计预测模块根据步骤S3中的统计结果，将每一块数据块后的被读取次数最多的数据块进行预测，预测其为下一块需要读取的数据块，并让存储客户端进行读取。

进一步地，所述一种分布式存储的预读写方法，还包括步骤S0、存储客户端写入数据至分布式存储系统中，分布式存储系统将数据均分成若干数据块，然后将数据块分散存储于不同的存储设备中。

进一步地，所述一种分布式存储的预读写方法，还包括步骤S5、分布式存储系统将存储客户端所需要读取的数据块进行合并形成完整数据后，发送给存储客户端。

本发明另一目的是提供一种分布式存储的预读写装置，包括存储客户端、分布式存储系统以及统计预测模块，所述分布式存储系统包括若干个存储设备；

所述存储客户端用于对所述分布式存储系统进行数据的写入和读取；