[发明专利]图数据挖掘方法、装置、电子设备及机器可读存储介质

权利要求书

1.一种图数据挖掘方法，其特征在于，应用于基于Apache Spark架构实现的数据处理系统，所述方法包括：

对原始数据进行预处理，得到图结构数据；

依据分布式图神经网络的训练策略，对所述图结构数据进行切分，得到多个子图数据，并将所述子图数据存储分布式内存管理系统；

构建分布式图神经网络训练函数，利用所述分布式图神经网络训练函数，依据所述分布式内存管理系统中存储的子图数据，进行分布式图神经网络模型训练，并将得到的表征Embedding存储到所述分布式内存管理系统；

依据所述分布式内存管理系统中保存的所述Embedding进行机器学习ML模型的训练和预测。

2.根据权利要求1所述的方法，其特征在于，同一子图数据存储在同一工作worker节点的内存中，所述多个子图数据存储在至少两个不同worker节点的内存中。

3.根据权利要求2所述的方法，其特征在于，不同子图的数据存储在不同worker节点的内存中；

或，

至少一个worker节点的内存中存储有至少两个子图数据，该worker节点运行有至少两个分布式图神经网络训练进程，一个分布式图神经网络训练进程对应一个子图数据。

4.根据权利要求1所述的方法，其特征在于，所述依据分布式图神经网络的训练策略，对所述图结构数据进行切分，包括：

依据目标图深度学习框架对分布式图神经网络训练的要求，对图结构数据进行切分；其中，所述目标图深度学习框架为预先配置的分布式图神经网络训练使用的图深度学习框架。

5.根据权利要求1所述的方法，其特征在于，所述构建分布式图神经网络训练函数，包括：

依据预先定义的图神经网络模型以及与所述图神经网络模型关联的训练参数，构建所述分布式图神经网络训练函数；

其中，所述分布式图神经网络训练函数的逻辑包括：

分布式训练的初始化、训练数据的读取和构建、子图采样进行mini-batch模型训练与验证、训练日志的打印以及推理得到的Embedding存储。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述对原始数据进行预处理，得到图结构数据，包括：

对原始数据进行预处理，得到图结构数据以及所述图结构数据对应的特征数据；

所述依据分布式图神经网络的训练策略，对所述图结构数据进行切分，得到多个子图数据，并将所述子图数据存储分布式内存管理系统，包括：

依据分布式图神经网络的训练策略，对所述图结构数据以及所述图结构数据对应的特征数据进行切分，得到多个子图数据，以及各所述子图数据对应的特征数据，并将所述子图数据以及所述子图数据对应的特征数据关联存储。

7.一种图数据挖掘装置，其特征在于，应用于基于Apache Spark架构实现的数据处理系统，所述装置包括：

预处理单元，用于对原始数据进行预处理，得到图结构数据；

切分单元，用于依据分布式图神经网络的训练策略，对所述图结构数据进行切分，得到多个子图数据，并将所述子图数据存储分布式内存管理系统；

训练单元，用于构建分布式图神经网络训练函数，利用所述分布式图神经网络训练函数，依据所述分布式内存管理系统中存储的子图数据，进行分布式图神经网络模型训练，并将得到的表征Embedding存储到所述分布式内存管理系统；

挖掘单元，用于依据所述分布式内存管理系统中保存的所述Embedding进行机器学习ML模型的训练和预测。