[发明专利]一种基于分布式文件系统交织读预读的优化方法、装置

说明书

本发明提供一种基于分布式文件系统交织读预读的优化方法、装置，所述方法包括如下步骤：步骤1：接收读请求；步骤2：根据接收到的读请求判断是否是随机读，若是，执行步骤3，否则，执行步骤4；步骤3：根据整对象及对象中的数据块的预读标记进行预读信息恢复；步骤4：发起预读；步骤5：读结束。交织读的识别方法，设计数据块与对象的预读标记，实现预读信息的快速恢复，同时设计完整的交织读预读逻辑，模块嵌入性能较好，完美实现交织读模式下的识别与预读。增加交织读模式下的读性能。提升产品多业务模式性能稳定性，增加友好的用户体验。模块嵌入性好，便于开发与维护。

技术领域

本发明涉及分布式文件系统读业务技术领域，具体涉及一种基于分布式文件系统交织读预读的优化方法、装置。

背景技术

计算机通过文件系统管理、存储数据，而信息爆炸时代中人们可以获取的数据成指数倍的增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意。分布式文件系统的设计基于客户机/服务器模式。分布式文件系统可以有效解决数据的存储和管理难题:将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。

对于分布式文件系统(对象存储)，对于文件的读业务模型有常见的交织读模式，例如多线程交替的从文件的不同位置顺序读，由于在分布式文件系统缓存层，多线程共享文件句柄，对分布式文件系统而言，整个IO的顺序性不断遭受中断，顺序读预读效果差，整体读性能不理想。

发明内容

针对多线程交替的从文件的不同位置顺序读，由于在分布式文件系统缓存层，多线程共享文件句柄，对分布式文件系统而言，整个IO的顺序性不断遭受中断，顺序读预读效果差，整体读性能不理想的问题，本发明提供一种基于分布式文件系统交织读预读的优化方法、装置。

本发明的技术方案是：

第一方面，本发明技术方案提供一种基于分布式文件系统交织读预读的优化方法，包括如下步骤：

步骤1：接收读请求；

步骤2：根据接收到的读请求判断是否是随机读，若是，执行步骤3，否则，执行步骤4；

步骤3：根据整对象及对象中的数据块的预读标记进行预读信息恢复；

步骤4：发起预读；

步骤5：读结束。

进一步的，步骤3中根据整对象及对象中的数据块的预读标记进行预读信息恢复的步骤具体包括：

步骤31：根据整对象的预读标记记录预读长度；

步骤32：若整对象中没有预读标记，根据对象中的数据块的预读标记记录预读长度；

步骤33：根据步骤31和步骤32中记录的预读长度统计预读总长度；

步骤34：根据统计的预读总长度判断是否是交织读，若是，执行步骤35；否则，执行步骤36；

步骤35：恢复预读信息；

步骤36：交织读恢复流程结束。

进一步的，步骤31中根据整对象的预读标记记录预读长度的步骤具体包括：

步骤311：遍历对象检查整对象是否具有预读标记；若是，执行步骤312，否则执行步骤32；

步骤312：记录预读长度并检查下一对象；

步骤313：对象是否遍历完成，若是，执行步骤33，否则，继续执行步骤311。