[发明专利]一种基于I/O调度的多任务外存模式图处理方法

说明书

本发明公开了一种基于I/O调度的多任务外存模式图处理方法，包括：将图数据进行流式分区得到图分区，将图分区均衡地置于多个外存设备中，基于I/O调度从多个外存设备中选取目标外存设备，并将目标外存设备中图处理任务尚未访问的图分区作为指定分区；根据指定分区的同步字段判断其是否未被映射到内存中，若是，则将指定分区从外存设备映射到内存中，并更新指定分区的同步字段；否则，直接通过指定分区映射到内存的地址信息进行图分区数据的访问。本发明通过I/O调度，选择任务数最少的外存设备访问，以此控制访问外存图分区数据的顺序，平衡I/O压力；通过设置同步字段实现图分区数据的共享，减少相同图分区的重复加载，以此减少I/O总带宽量，提升I/O效率。

技术领域

本发明属于外存模式图处理领域，更具体地，涉及一种基于I/O调度的多任务外存模式图处理方法。

背景技术

随着社会信息化程度的不断提高，图数据规模正在以爆炸式速度不断增长。为了更好的执行大规模图数据的分析处理，近年来产生了一批专门的图处理系统，其中，外存模式图处理系统将图数据存储在廉价易扩展的外存储器中，通过优化对外存图数据的访问速度提升图算法执行效率，在单机环境中可以有效地处理具有数十亿条边规模大小的图计算问题。

当越来越多的图处理任务执行在相同的图处理平台上时，不可避免的会产生时间上的重叠，即任务级并行。随着图数据规模的不断增大，图算法的执行时间会越来越长，并行化程度会越来越高。目前国际知名的外存模式图处理系统有GraphChi、X-Stream以及GridGraph等，它们采用顺序化访问方式优化外存I/O，通过定义特定的图数据访问顺序减少外存设备的随机访问开销，提高图算法执行效率。然而在多任务场景下，这些图处理系统并不适用，这是由于每个图算法的I/O特性不同，具有不同的外存图数据访问速度，因此，并行执行多个图处理任务时将影响甚至破坏现有的外存I/O优化方法，造成严重的外存随机访问开销。另外，多个图算法分别向外存发起I/O请求，会竞争有限的I/O带宽，I/O冲突严重。

发明内容

针对现有技术的缺陷，本发明的目的在于解决现有技术中外存模式图处理系统外存随机访问开销严重，I/O冲突严重的技术问题。

为实现上述目的，第一方面，本发明实施例提供了一种基于I/O调度的多任务外存模式图处理方法，所述方法包括以下步骤：

S1.将图数据进行流式分区，得到n个图分区，每个图分区对应的边集中具有相同的边数目，并初始化每个图分区的同步字段；

S2.将n个图分区均衡地置于N个外存设备中，更新每个图分区的部分同步字段，n为N的整数倍；

S3.基于I/O调度从N个外存设备中选取访问图处理任务数最少的外存设备作为目标外存设备，并将所述目标外存设备中图处理任务尚未访问的图分区作为指定分区；

S4.根据指定分区的同步字段判断其是否未被映射到内存中，若是，则将所述指定分区从外存设备映射到内存中，并更新所述指定分区的部分同步字段；否则，直接通过所述指定分区映射到内存的地址信息进行图分区数据的访问。

具体地，所述图分区的同步字段为unit_num+mmap_addr+edge_num+fd，其中，unit_num为访问图分区的任务总数，初始化为0；mmap_addr为图分区在内存中的映射首地址，初始化为空；edge_num为图分区映射到内存中的边数目，初始化为0；fd为图分区对应的文件描述符，初始化为空。

具体地，步骤S2具体如下：

当图分区置于N个外存设备中的一个后，在外存设备中创建图分区文件，为图分区文件分配一个同步字段，edge_num字段更新为图分区边数。

具体地，步骤S3具体如下：

1)统计各外存设备正在执行的图处理任务数量n_i，i＝1,2,...,N；