[发明专利]数据分布的分析方法、装置及电子设备、存储介质

说明书

本申请提供一种数据分布的分析方法、装置及电子设备、存储介质。该方法包括：生成多个数据中心的共有分布式数据图；针对共有分布式数据图中的每个共有顶点，当共有顶点所连接的入边的数量大于预设值时，确定共有顶点为高度顶点；当共有顶点所连接的入边的数量小于或等于预设值时，确定共有顶点为低度顶点；确定每个数据中心的多个初始分布式数据图，并根据自适应迭代评分采样算法和每个数据中心的多个初始分布式数据图确定每个数据中心的目标分布式数据图。本申请的方法可以解决如何在减少数据中心之间进行通信时的成本的同时，减少对数据中心对应的图的数据表现方式进行优化时所需的时间成本，提高优化效率。

技术领域

本申请涉及分布式图分析应用技术，尤其涉及一种数据分布的分析方法、装置及电子设备、存储介质。

背景技术

目前，一些大数据分析应用经常会涉及到分析地理分布式方式产生的数据。以某社交应用为例，其数据分析任务每天都要处理数TB字节的文本、图像以及视频等数据，而这些数据来自于世界各地的用户。为了服务于这样的应用，云供应商发展了地理分布式的云服务，地理分布式的云服务可以让应用和本地、其他云提供商的数据中心或第三方数据中心等进行数据交互。

在构建云服务上数据中心的数据时，首先是基于地理分布式的环境下执行图分析应用程序，以将每个数据中心的分布式数据抽象成图的数据表现形式。再根据图的数据表现方式，按照vertex-cut图分割模型构建完整的数据分布模型。有了数据分布模型，再按照PowerGraph提出的GAS计算模型对图分析应用程序的过程进行模拟。

在模拟过程中的Gather以及Apply阶段，不同数据中心之间需要进行通信。而数据中心对应的图的数据表现方式决定了数据中心之间进行通信时的成本。为了减少数据中心之间进行通信时的成本，一般是使用贪心算法优化得到各个数据中心更好的图的数据表现形式。但是，当数据中心的数量越来越多、数据量越来越庞大时，利用贪心算法对数据中心对应的图的数据表现方式进行优化时所需的时间成本非常高，对应的效率也比较低。

如何在减少数据中心之间进行通信时的成本的同时，减少对数据中心对应的图的数据表现方式进行优化时所需的时间成本，提高优化效率，仍然是需要考虑的。

发明内容

本申请提供一种数据分布的分析方法、装置及电子设备、存储介质，用以解决如何在减少数据中心之间进行通信时的成本的同时，减少对数据中心对应的图的数据表现方式进行优化时所需的时间成本，提高优化效率的问题。

一方面，本申请提供一种数据分布的分析方法，包括：

根据每个数据中心的分布式数据图，生成多个数据中心的共有分布式数据图，所述共有分布式数据图包括至少一个共有顶点，每个共有顶点上连接有至少一条入边；其中，所述共有顶点为每个数据中心的分布式数据图中具有的同一顶点；

针对共有分布式数据图中的每个共有顶点，当共有顶点所连接的入边的数量大于预设值时，确定共有顶点为高度顶点；当共有顶点所连接的入边的数量小于或等于所述预设值时，确定共有顶点为低度顶点；其中，低度顶点的入边和出边均跟随低度顶点，高度顶点的入边跟随入边所连接的另一共有顶点；

基于共有分布式数据图中确定的高度顶点和低度顶点，确定每个数据中心的多个初始分布式数据图，并根据自适应迭代评分采样算法和每个数据中心的多个初始分布式数据图确定每个数据中心的目标分布式数据图。

其中一个实施例中，所述基于共有分布式数据图中确定的高度顶点和低度顶点确定每个数据中心的多个初始分布式数据图包括：

针对每个数据中心，随机获取共有分布式数据图中的至少一个共有顶点，根据共有分布式数据图中共有顶点和边的连接关系，以及确定的高度顶点和低度顶点，为所述至少一个共有顶点中的每个共有顶点分配边；