[发明专利]基于随机和连续磁盘访问的高速核外图处理方法及系统

摘要

本发明公开了一种基于随机和连续磁盘访问的高速核外图处理方法及系统，属于大数据领域的图计算与处理技术领域。本发明包括应用于I/O操作子模块的核外数据的快速索引机制，采用内存映射的方式快速处理核外数据；应用于算法调度子模块的基于位图管理的同步与异步模型相结合的混合调度策略，达到减少迭代次数并节省内存的目的；应用于数据管理子模块的中间计算数据的“核内”置放与处理策略，达到减少中间计算数据的额外I/O开销的目的，并且该策略将随机I/O接入转化为连续I/O接入，减少了磁盘的空转，提高系统运行效率。

主权项

一种基于随机和连续磁盘访问的高速核外图处理方法，其特征在于，包括：步骤1初始化核外数据，并根据用户输入的参数与选择的算法进行系统初始化，其中，所述核外数据为经过预处理后的二进制文件；步骤2判断本次迭代是否有任务需要执行，是则根据公式CID＝VID/N将所有任务分配到对应的CPU上，其中，CID表示被分配到的CPU的编号；VID表示任务顶点的编号；N表示CPU的个数；然后执行步骤3，否则流程结束；步骤3各个CPU根据分配的任务，读取任务顶点编号，索引该任务顶点依赖的核外数据，并按照用户算法执行scatter计算，每次执行一个任务，将计算结果存储在update数据缓冲区，如果所述update数据缓冲区溢出，则保存上下文信息，标记context‑gather并执行步骤5，否则执行步骤4；步骤4判断本次迭代的所有任务是否已经执行完毕，是则执行步骤5，否则读取下一个任务，继续执行所述步骤3；步骤5读取溢出的update数据缓冲区内的update数据，依次将每个update数据与对应任务顶点进行计算，并修改update数据映射表，直到消耗完所述溢出的update数据缓冲区内所有update数据，然后执行步骤6；步骤6判断是否标记了context‑gather，是则读取所述步骤3保存的所述上下文信息，使系统便恢复到之前的状态执行，然后执行步骤3，否则执行步骤7；步骤7判断算法是否收敛，是则流程结束，否则执行步骤2。