[发明专利]分离可组合式架构下的图计算工作集优化实现方法及系统

权利要求书

1.一种分离可组合式架构下的图计算工作集优化实现方法，其特征在于，以数据段为单位，对待处理的图计算任务进行数据段识别；将图计算数据段按照四象限法划分为四大集合，进而根据读写访问热度进一步将四个集合划分为热工作集，即不可迁移工作集和冷工作集，即可迁移工作集；自动化调节可迁移工作集的本地与远程比例，根据图计算遍历过程中边数据只读不写的特性，向远程内存阶段进行单边远内存访问并读回索引所对应的数据块，实现优化协作；

所述的分离可组合式架构是指：数据中心中多台服务器CPU与内存通过网络连接的方式进行灵活的组合搭配的架构，其中：执行计算任务的服务器作为计算节点，执行内存访问的服务器作为内存结点；

所述的识别是指：解析并得到图计算任务中各项源图数据、中间表述数据、结果保留数据运算过程中需要的图数据段类别，具体包括：图节点数据Vertex、节点标号V_id、属性Attribute、图计算专用中间变量节点集、中间变量、指针变量Pointer、迭代器Iterator、队列Queue、边的编号E_id、边的偏移量Offset、边的权重Weight、非活跃点集Inactive_v、文件读取缓存Cache_fifo；

所述的自动化调节具体包括：

步骤1：将数据段集合的第一象限和第四象限的集合划分为热工作集，将数据段集合中的第二象限和第三象限的集合划分为冷工作集；

步骤2：设置整体工作集大小为，热工作集大小为，可迁移工作集为，当远程内存区域RR大小为，则，本地内存区域LR大小为，通过调整的大小来实现本地和远程数据分布比例的自动化调节；

步骤3：指按照已划分的本地内存区域与远程内存区域，在预处理阶段将本地内存区域对应的数据段集合的数据留在本地DRAM中，将远程内存区域对应的数据段集合的数据通过网络传输到远端内存节点以实现远程数据读写；

步骤4：重复步骤1-3，直到所有需要传到远程的数据均传递完毕；

所述的单边远内存访问，具体包括：

步骤i：计算节点在预处理过程中，按照已划分的工作集将远端数据集通过单边写入的形式，将数据连同对应的索引信息，输出至远端内存区域；

步骤ii：内存节点上的索引搜索模块接收来自计算节点的带索引的数据并保留在远端内存区域中；

步骤iii：计算节点在执行过程中，不断向内存节点发出包含索引的读取远端数据块的请求；

步骤iv：内存节点根据收到的索引，将计算节点需要的对应的数据块通过单边读取的形式返回到本地内存区域，供计算节点的本地执行程序使用；

步骤v：重复步骤iii和iv，直到计算节点上的应用结束。

2.根据权利要求1所述的分离可组合式架构下的图计算工作集优化实现方法，其特征是，所述的四象限法划分是指：根据识别得到的图数据段的内存页读写频率，进行四象限法的工作集划分，具体为：以横坐标代表写入频率，纵坐标代表读取频率，以右上为正，第一象限包括读多写多集合，第二象限为读多写少集合，第三象限为读少写少集合，第四象限为读少写多集合；

所述的读写是指：任一数据段从内存中读取和数据写入到内存中的操作，该操作的总频次和执行时的带宽占用之乘积即内存成本，当若当前数据段比整体应用的所计算的内存成本平均值高，则视为多，否则为少。

3.根据权利要求1所述的分离可组合式架构下的图计算工作集优化实现方法，其特征是，所述的自动化调节是指：通过分析图数据访存幂律性、读取的数据量大而写入的数据量小的特性，结合上述的四象限法集合划分，将运行时数据段集合具体划分到本地内存区域和远程内存区域。