[发明专利]一种图邻域边信息和的估算方法及相关产品

说明书

本申请公开一种图邻域边信息和的估算方法及相关产品，可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。方法中执行器根据目标图中的目标节点构成的边获得目标节点的第1阶更新消息计数器并上推至参数服务器，以初始化目标节点的1阶计数器；参数服务器中包含根据驱动器的申请创建的目标图的计数器矩阵；计数器矩阵存储有目标图各节点的多阶计数器；执行器从参数服务器中拉取目标节点的同边源节点的i‑1阶计数器，根据该i‑1阶计数器获得目标节点的i阶更新消息计数器并上推至参数服务器，以根据目标节点的i阶更新消息计数器和i‑1阶计数器，得到i阶计数器，迭代直至得到r阶计数器。通过引入参数服务器提升了处理性能。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种图邻域边信息和的估算方法及相关产品。

背景技术

目前，估算图中节点邻域边信息和的方案通常单纯基于Spark平台实现。但是，这种单纯基于Spark平台的图邻域边信息和的估算方案存在多方面问题：一是容易遇到Spark平台驱动器的单点网络瓶颈，使数据处理性能受到限制；二是在数据处理过程中，由于Spark平台所创建的RDD(Resilient Distributed Dataset，弹性分布式数据集)具有不可变性，因此需要额外创建、存储新的RDD(Resilient Distributed Dataset，弹性分布式数据集)进行迭代，资源消耗较大；三是当数据处理过程涉及百亿、千亿级别的超大规模图数据时，会产生巨大的网络开销，影响数据处理性能。

可见，当前技术中单纯基于Spark平台的图邻域边信息和的估算方案存在多方面问题，这导致Spark平台的数据处理性能较差，难以较好地应对超大规模图数据的情况。

发明内容

本申请实施例提供了一种图邻域边信息和的估算方法及相关产品，以解决单纯基于Spark平台的图邻域边信息和的估算方案难以较好地应对超大规模图数据的情况的问题。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供一种图邻域边信息和的估算方法，包括：

执行器根据目标图中的目标节点构成的边获得所述目标节点的第1阶更新消息计数器，并将所述第1阶更新消息计数器上推至参数服务器，以使所述参数服务器初始化计数器矩阵中所述目标节点的1阶计数器；所述参数服务器中包含根据驱动器的申请创建的所述目标图的计数器矩阵；所述计数器矩阵存储有所述目标图中各节点的0至r阶计数器，分别用于存储所对应节点的相应阶数邻域边集的边信息编码数组和相应阶数邻域边集的边信息和的估计值；所述r为目标估算阶数，r≥2；

所述执行器从所述参数服务器中拉取所述目标节点的同边源节点的i-1阶计数器，根据所述目标节点的同边源节点的i-1阶计数器获得所述目标节点的第i阶更新消息计数器；2≤i≤r；

所述执行器将所述目标节点的第i阶更新消息计数器上推至所述参数服务器，以使所述参数服务器根据所述目标节点的第i阶更新消息计数器和所述目标节点的i-1阶计数器，更新所述计数器矩阵中所述目标节点的i-1阶计数器而得到i阶计数器，循环迭代直至完成对所述目标节点的r-1阶计数器的更新而得到r阶计数器。

第二方面，本申请实施例提供另一种图邻域边信息和的估算方法，目标估算阶数为1，所述方法包括：

驱动器向参数服务器发出申请，以使所述参数服务器创建目标图的计数器矩阵；所述计数器矩阵存储有所述目标图中各节点的0阶计数器和1阶计数器，分别用于存储所对应节点的相应阶数邻域边集的边信息编码数组和相应阶数邻域边集的边信息和的估计值；