[发明专利]一种处理图数据的方法及装置

说明书

本发明实施例公开了一种处理图数据的方法及装置，涉及数据挖掘技术领域，用于提高图计算的效率。该方法包括：获取图数据中的边数据和对图数据进行图计算的计算算法；根据计算算法，确定对图数据中的边数据进行分割的分割算法，分割算法为根据构成边数据的节点对图数据中的边数据进行分割的算法，构成边数据的节点为构成边数据的源节点和/或目的节点；根据分割算法和本地内存的内存容量，将图数据中的边数据分割为N个初始边数据块，N个初始边数据块中的每个初始边数据块的数据量均小于内存容量，N≥1，N为整数；将N个初始边数据块中的每个初始边数据块中的边数据按照构成边数据的节点进行排列，得到N个目标边数据块。

技术领域

本发明涉及数据挖掘技术领域，尤其涉及一种处理图数据的方法及装置。

背景技术

在大数据挖掘时代，图不仅可以直接描述计算机科学、化学以及生物信息学等领域的许多现实应用，例如社交网络、web(网页)图、化学物质以及生物结构等，同时也可以用来描述各种数据挖掘算法，例如矩阵分解或最短路径等等。其中，图包括多个节点以及连接各个节点的边，图数据包括各个节点的节点数据以及连接各个节点的边的边数据，一条边的边数据包括构成该条边的源节点、目的节点和该条边的权值。在单机图计算处理平台(即采用单个计算机进行图计算的处理平台)中，由于单个计算机的本地内存的内存容量有限，当需要计算的图数据的数据量超过该内存容量时，需要对图数据中的边数据进行处理，得到多个边数据块，一个边数据块包括一个或多个边数据。

目前，在对图数据中的边数据进行处理时，采用固定的方法，使得计算机在对一个边数据块中的节点的节点数据进行计算时，若无法直接获取与该节点相关的边数据，则需要对该边数据块中的边数据的排列顺序进行调整才可以得到需要的边数据。例如，在GraphChi(一种单机图计算处理平台)中，由于在图计算时是以目的节点为中心的计算模式，因此，计算机按照目的节点的ID(标识)由小至大的顺序将图数据中的边数据分割为多个边数据块(在GraphChi中称为Shard)，对应同一目的节点的全部边数据被分割在一个边数据块中，为了顺序更新节点数据，每个边数据块中的边数据又按照边数据对应的源节点的ID由小至大顺序排列。该情况下，在计算机将一个边数据块读入本地内存之后，需要获取该边数据块中的多个目的节点的全部入边数据(即源节点为其他节点，目的节点为该节点的边数据)和全部出边数据(即源节点为该节点，目的节点为其他节点的边数据)，以便依次对该边数据块中的多个目的节点的节点数据进行计算，为了快速的获取目的节点的全部入边数据，需要将该边数据块中的边数据按照目的节点的ID由小至大的顺序重新排序，而重新排序的过程耗时较长，使得图计算的效率较低。

发明内容

本发明的实施例提供一种处理图数据的方法及装置，用于提高图计算的效率。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供一种处理图数据的方法，包括：

获取图数据中的边数据和对所述图数据进行图计算的计算算法；

根据所述计算算法，确定对所述图数据中的边数据进行分割的分割算法，所述分割算法为根据构成边数据的节点对所述图数据中的边数据进行分割的算法，所述构成边数据的节点为构成边数据的源节点和/或目的节点；

根据所述分割算法和本地内存的内存容量，将所述图数据中的边数据分割为N个初始边数据块，所述N个初始边数据块中的每个初始边数据块的数据量均小于所述内存容量，N≥1，N为整数；

将所述N个初始边数据块中的每个初始边数据块中的边数据按照所述构成边数据的节点进行排列，得到N个目标边数据块。

可选的，所述计算算法在对所述图数据中的一个节点的节点数据进行计算的过程中，不需要使用该节点的出边数据，对应同一目的节点的全部边数据在一个初始边数据块中，所述构成边数据的节点为构成边数据的目的节点；