[发明专利]图数据的重划分方法及系统

说明书

本发明提供了图数据的重划分方法及系统。其中，方法为：获取图数据和资源部署指令，资源部署指令表示将图数据分配到多个第一服务器上；将图数据进行划分，得到多个子图，子图的数量与第一服务器的数量一致，且每个子图间是相互独立的；获取资源重新部署指令，资源重新部署指令表示将图数据重新分配到多个第二服务器上，多个第二服务器的数量的平方不大于多个第一服务器的数量；根据多个子图，按照预定规则，得到多个新子图，新子图的数量与第二服务器的数量一致，且多个新子图间是相互独立的。本发明图数据的重划分方法及系统，在资源重新部署时，采用将子图合并处理，实现图数据的重划分，不用重新遍历和挖掘，提高了图数据重新划分的速度。

技术领域

本发明涉及数据处理领域，尤其涉及图数据划分。

背景技术

图是数据结构的一种，是一种数据存储方式，其数据通过点和边存储。由于海量数据对于系统存储空间与计算能力的需要，需要将数据进行分布式并行存储与计算。

在分布式计算环境下，由于图数据记录之间的强耦合性，图数据的不合理分配，往往会造成机器之间负载不均衡，机器之间会增加大量网络通信，而且由于图挖掘算法往往具有多轮迭代运行的特性，大数据分配不合理的影响被明显放大，严重拖慢系统整体的运行效率，所以合理切分图数据对于离线挖掘类型图应用的运行效率来说非常重要。通常将图数据的点或边进行分割，分配到不同的机器上，现有以下三种分割方法：第一种是将图数据中的所有边随机分到不同的子图中；第二种是将具有相同的出点或相同的入点的边分在相同的子图中；第三种是通过矩阵的方式进行图数据的分割，得到图数据分配后的子图。这三种方法中，第三种分割方式更合理，可减少设备之间的通信开销。

但当分布式系统需要进行资源的重新部署，即需要将同样的图数据重新分配，通常需要将图数据重新遍历和挖掘，再进行重新划分。此时，无论采用上述哪种分割方式，图数据的重新划分的速度慢，都会增加系统负担。

因此，现有技术中的缺陷是，当分布式系统需要进行资源的重新部署，需要将图数据重新遍历和挖掘，再进行重新划分，导致图数据重新划分速度慢，增加系统负担。

发明内容

针对上述技术问题，本发明提供一种图数据的重划分方法及系统，采用了基于重新划分的图数据之前的子图，进行图数据的重新划分，不用重新遍历和挖掘，提高了图数据重新划分的速度，减轻了系统负担。

为解决上述技术问题，本发明提供的技术方案是：

第一方面，本发明提供图数据的重划分方法，包括：

步骤S1，获取图数据和资源部署指令，所述资源部署指令表示将所述图数据分配到多个第一服务器上；

步骤S2，根据所述资源部署指令，将所述图数据进行划分，得到多个子图，多个所述子图的数量与多个所述第一服务器的数量一致，且每个所述子图间是相互独立的；

步骤S3，获取资源重新部署指令，所述资源重新部署指令表示将所述图数据重新分配到多个第二服务器上，多个所述第二服务器的数量的平方不大于多个所述第一服务器的数量；

步骤S4，根据多个所述子图，按照预定规则，得到多个新子图，多个所述新子图的数量与多个所述第二服务器的数量一致，且多个所述新子图间是相互独立的。

本发明的技术方案为先获取图数据和资源部署指令，所述资源部署指令表示将所述图数据分配到多个第一服务器上；接着根据所述资源部署指令，将所述图数据进行划分，得到多个子图，多个所述子图的数量与多个所述第一服务器的数量一致，且每个所述子图间是相互独立的；然后获取资源重新部署指令，所述资源重新部署指令表示将所述图数据重新分配到多个第二服务器上，多个所述第二服务器的数量的平方不大于多个所述第一服务器的数量；最后根据多个所述子图，按照预定规则，得到多个新子图，多个所述新子图的数量与多个所述第二服务器的数量一致，且多个所述新子图间是相互独立的。