[发明专利]一种数据处理系统、方法、设备及存储介质

说明书

本说明书公开了一种数据处理系统、方法、设备及存储介质，可以从原始图数据中包含的每个节点中筛选出度数高于预设阈值的节点，作为用于连接各社区的枢纽节点，进而可以将枢纽节点的每个邻居节点作为起始节点，通过访问与该邻居节点之间存在连接关系的其他节点，作为该邻居节点的关联节点，从而可以将该邻居节点和该邻居节点的关联节点划分出来，作为原始图数据的一个图数据分块，并针对每个图数据分块进行节点更新处理，进而可以避免由于直接使用原始图数据中包含的全部节点对应的特征矩阵进行计算而产生的冗余计算，以提升数据处理效率。

技术领域

本说明书涉及图计算技术领域，尤其涉及一种数据处理系统、方法、设备及存储介质。

背景技术

目前，在通过图卷积神经网络对图数据进行处理的过程中，由于需要处理的图数据具有尺寸大、数据分布较为稀疏等特点，使得在使用图数据对应的特征矩阵进行计算时，存在较多的无效计算操作，进而使得处理的效率较低。

因此，如何提升数据处理效率，则是一个亟待解决的问题。

发明内容

本说明书提供一种数据处理方法、装置、设备及存储介质，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种数据处理系统，所述数据处理系统包括：第一处理器、第二处理器；

所述第一处理器用于针对原始图数据中包含的每个节点，判断该节点的度数是否超过预设阈值，若是，则确定该节点为枢纽节点，并针对所述枢纽节点的每个邻居节点，通过多轮节点查询，确定所述原始图数据中与该邻居节点存在连接关系的其他节点，作为该邻居节点的关联节点，并根据该邻居节点以及该邻居节点的关联节点，确定所述原始图数据的图数据分块；

所述第二处理器用于针对所述图数据分块中包含的每个节点，根据该节点在所述图数据分块中的各邻居节点的节点特征表示，对该节点的节点特征表示进行更新，得到该节点的更新后特征表示，根据该节点以及其他节点的更新后特征表示，对所述原始图数据进行更新处理。

可选地，所述第一处理器用于针对所述枢纽节点的每个邻居节点，将该邻居节点作为起始节点，通过多轮节点查询，确定该邻居节点的关联节点；其中，

针对每轮节点查询，确定该轮节点查询中的各目标节点，判断所述各目标节点的各邻居节点中是否存在未访问节点，若是，则将所述未访问节点作为所述起始节点的关联节点，并将所述未访问节点设置为已访问节点，以及，将所述未访问节点作为下一轮节点查询的目标节点，所述各目标节点是将所述起始节点迭代至上一轮后得到的；

在确定满足预设的第一终止条件后，得到所述起始节点的各关联节点。

可选地，所述第一处理器用于针对每轮节点查询中的每个目标节点，判断在预设的全局已访问节点集中是否包含该目标节点，若否，则确定该目标节点为所述起始节点对应的已访问邻居节点，并将该目标节点添加到所述全局已访问节点集中，若是，则确定所述起始节点不存在关联节点，并将所述起始节点对应的已访问邻居节点从所述全局已访问节点集中移除。

可选地，所述第二处理器包括：至少一个处理单元；

各处理单元中的至少部分处理单元用于针对所述图数据分块中包含的每个节点，将该节点在所述图数据分块中的至少部分邻居节点的节点特征表示进行聚合，得到该节点的子聚合特征表示；以及

其他处理单元用于根据该节点的各子聚合特征表示，对该节点的节点特征表示进行更新，得到该节点的更新后特征表示。

可选地，所述数据处理系统还包括：任务调度器；

所述任务调度器用于生成针对所述图数据分块的第一数据处理任务，并根据所述各处理单元的负载值，将所述第一数据处理任务分配给所述处理单元，所述第一数据处理任务用于将部分节点的节点特征表示进行聚合；以及