[发明专利]匹配顺序大I/O负载特征的粗粒度条带化方法及系统

摘要

本发明公开了一种匹配顺序大I/O负载特征的粗粒度条带化方法及系统，其中，该方法包括：图数据的分区；条带深度的确定；边块文件的条带化。本发明提出的匹配顺序大I/O负载特征的粗粒度条带化方法，将经过图分区处理后的所有边块文件，以匹配图数据访问特征的粗粒度条带深度，按照更新顺序条带化到一对一存储在多个外存设备的多个条带化文件中，在应用层实现图数据的多盘粗粒度条带化分布。本发明能保证每盘的顺序访问和减少设备I/O次数进而有效提高每个盘的I/O吞吐量，并为实现应用层高效I/O管理和发挥多盘并行I/O能力提供基础。

主权项

1.一种匹配顺序大I/O负载特征的粗粒度条带化方法，其特征在于，包括：(1)将原始图数据中所有顶点等分成P个顶点分区，根据边的目的顶点所在的顶点分区将所有的边分成P个条块，每个边对应的条块进一步根据该边的源顶点所在的顶点分区分成P个边块，最终形成一个P*P的二维分区；(2)选取平均I/O请求大小至最大I/O请求大小作为条带深度，并避免I/O请求跨越三盘以上的情况以减少数据块定位开销；(3)基于所述条带深度，将所述原始图数据分区后的所有边块文件按照更新顺序划分成大小相等的粗粒度条带单元，并将各所述粗粒度条带单元以递增的顺序循环地均匀分布在连续的N个条带化文件中，其中，条带化文件从0～N‑1连续编号，一对一地存储在N个外存设备上。