[发明专利]一种分布式的图数据序列采样方法及装置

说明书

本发明实施例提供了一种分布式的图数据序列采样方法及装置，应用于分布式的计算节点，所述分布式的计算节点包括：两个以上计算节点，其中所述方法包括：获取预设的图数据、采样次数及采样路径长度；将所述采样次数均分，得到每个计算节点各自的采样次数，作为采样分配次数；从每个计算节点处理的路径集合中，按照所述采样路径长度，确定出路径长度与所述采样路径长度的数值相同的目标路径，所述目标路径是由边数量与所述采样路径长度的数值相同的所述图数据的边形成的，所述图数据的每条边包括至少一个元素；对每个计算节点的目标路径，基于预先确定的权重，分别从形成该目标路径的每条边包括的至少一个元素中抽取一个元素，得到采样元素序列。

技术领域

本发明涉及涉及数据分析技术领域，特别是涉及一种分布式的图数据序列采样方法及装置。

背景技术

随着通信技术的发展，形成了大量的数据，如何从大量数据中获取有价值的信息成为人们所关注的问题。图数据作为一种数据，目前相关技术中采用单个计算节点进行图数据序列采样，虽然单个计算节点实现了图数据序列采样，但是通过单个计算节点完成整个采样过程，采样效率较低。

发明内容

本发明实施例的目的在于提供一种分布式的图数据序列采样方法及装置，用以解决现有技术中通过单个计算节点完成整个采样过程，采样效率较低的技术问题。具体技术方案如下：

第一方面，本发明实施提供了一种分布式的图数据序列采样方法，应用于分布式的计算节点，所述分布式的计算节点包括：两个以上计算节点，所述方法包括：

获取预设的图数据、采样次数及采样路径长度；

将所述采样次数均分，得到每个计算节点各自的采样次数，作为采样分配次数；

从每个计算节点处理的路径集合中，按照所述采样路径长度，确定出路径长度与所述采样路径长度的数值相同的目标路径，所述目标路径是由边数量与所述采样路径长度的数值相同的所述图数据的边形成的，所述图数据的每条边包括至少一个元素；

对每个计算节点的目标路径，基于预先确定的权重，分别从形成该目标路径的每条边包括的至少一个元素中抽取一个元素，得到采样元素序列，所述权重用于指示所述采样元素序列在全量采样元素序列集合中所占的比重，所述全量采样元素序列集合中的全量采样元素序列是按照所述采样分配次数由所述分布式的计算节点各自采样获得的。

进一步的，在所述从每个计算节点处理的路径集合中，按照所述采样路径长度，确定出路径长度与所述采样路径长度的数值相同的目标路径之前，所述方法还包括：

按照所述分布式的计算节点的数量，将所述图数据的边集进行分块，得到多个分块边集；

将一个分块边集分配给一个计算节点；

确定每个分块边集中边形成的各个路径；

由每个分块边集形成的各个路径，组成每个计算节点处理的路径集合；

所述从每个计算节点处理的路径集合中，按照所述采样路径长度，确定出路径长度与所述采样路径长度的数值相同的目标路径，包括：

基于每个计算节点处理的路径集合，以该计算节点所分配的分块边集中的起始边为起点，沿该分块边集中的起始点存在其余边的方向，拓展查找到所述采样路径长度的数值减一条除所述起始边以外的其他边；

将该分块边集中沿起始边拓展查找到，边数量与采样路径长度的数值相同的所有边，形成所述目标路径。

进一步的，采用如下步骤确定权重：

针对每个计算节点，将形成该计算节点的所述目标路径的所有边上全量采样元素序列的总数，与该计算节点包括的所有目标路径的总数之积，确定为所述权重。