[发明专利]匹配顺序大I/O负载特征的粗粒度条带化方法及系统

说明书

本发明公开了一种匹配顺序大I/O负载特征的粗粒度条带化方法及系统，其中，该方法包括：图数据的分区；条带深度的确定；边块文件的条带化。本发明提出的匹配顺序大I/O负载特征的粗粒度条带化方法，将经过图分区处理后的所有边块文件，以匹配图数据访问特征的粗粒度条带深度，按照更新顺序条带化到一对一存储在多个外存设备的多个条带化文件中，在应用层实现图数据的多盘粗粒度条带化分布。本发明能保证每盘的顺序访问和减少设备I/O次数进而有效提高每个盘的I/O吞吐量，并为实现应用层高效I/O管理和发挥多盘并行I/O能力提供基础。

技术领域

本发明属于外存模式图处理系统的I/O性能优化领域，更具体地，涉及一种匹配顺序大I/O负载特征的粗粒度条带化方法及系统。

背景技术

外存模式的图处理系统的性能瓶颈是外存I/O，有效地提升外存I/O性能，系统的整体性能也会随之提升。使用外存处理的图处理系统因处理大规模图数据集而需要高的外存I/O吞吐量时，多外存设备成为自然而常用的解决方案，如Graphene、X-Stream、FlashGraph、G-Store、GridGraph、NXgraph等。使用多外存设备的理想结果是图处理系统能够完全并行地、均衡地使用每个外存设备，充分利用每个外存设备单独的最大顺序带宽和多外存设备并行能力。

现有使用外存处理的图处理系统在多外存设备环境下管理I/O的方法主要有两类：基于条带化卷的操作系统管理I/O方法和基于按需I/O的应用管理I/O方法。基于条带化卷的操作系统管理I/O方法，存在多外存设备并行I/O能力受限、不高效的操作系统内I/O服务开销、锁争用开销等问题，从而导致多外存设备并行I/O能力发挥不足和每个外存设备的吞吐量无法达到最优；基于按需I/O的应用管理I/O方法，主要在应用层针对随机小I/O进行的I/O管理和优化，虽然提高了多外存设备的并行I/O能力，但顺序带宽利用不足，且存在较大的多级同步开销、缓存管理开销、I/O请求映射开销等问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种匹配顺序大I/O负载特征的粗粒度条带化方法及系统，由此解决现有使用外存处理的图处理系统在多外存设备环境下管理I/O的方法存在一定局限性的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种匹配顺序大I/O负载特征的粗粒度条带化方法，包括：

(1)将原始图数据中所有顶点等分成P个顶点分区，根据边的目的顶点所在的顶点分区将所有的边分成P个条块，每个边对应的条块进一步根据该边的源顶点所在的顶点分区分成P个边块，最终形成一个P*P的二维分区；

(2)选取平均I/O请求大小至最大I/O请求大小作为条带深度，并避免I/O请求跨越三盘以上的情况以减少数据块定位开销；

(3)基于所述条带深度，将所述原始图数据分区后的所有边块文件按照更新顺序划分成大小相等的粗粒度条带单元，并将各所述粗粒度条带单元以递增的顺序循环地均匀分布在连续的N个条带化文件中，其中，条带化文件从0～N-1连续编号，一对一地存储在N个外存设备上。

优选地，步骤(3)包括：

(3.1)若D_l≤S-O％S，即原始I/O请求的数据长度D_l不超过其地址映射后所在的第一个条带化文件内的条带单元的剩余长度，则不需要分解，该原始I/O请求对应的新I/O请求的条带化文件编号为SI₀，条带化文件内起始偏移地址为SO₀，该原始I/O请求的数据长度为D_l，其中，S为条带深度，O为该原始I/O请求在原始大线性地址空间中的起始偏移地址；

(3.2)若D_l＞S-O％S，即原始I/O请求的数据长度D_l超过了其地址映射后所在的第一个条带化文件内的条带单元的剩余长度，跨越了多个外存设备，则需要分解成多个新I/O请求，并为各新I/O请求分配条带化文件。