[发明专利]图数据挖掘方法、装置、电子设备及机器可读存储介质

说明书

本申请提供一种图数据挖掘方法、装置、电子设备及机器可读存储介质，该方法包括：对原始数据进行预处理，得到图结构数据；依据分布式图神经网络的训练策略，对所述图结构数据进行切分，得到多个子图数据，并将所述子图数据存储分布式内存管理系统；构建分布式图神经网络训练函数，利用所述分布式图神经网络训练函数，依据所述分布式内存管理系统中存储的子图数据，进行分布式图神经网络模型训练，并将得到的Embedding存储到所述分布式内存管理系统；依据所述分布式内存管理系统中保存的所述Embedding进行ML模型的训练和预测。该方法可以提升图数据挖掘的执行效率。

技术领域

本申请涉及数据处理技术，尤其涉及一种图数据挖掘方法、装置、电子设备及机器可读存储介质。

背景技术

目前，针对大数据量的处理，诞生了以Apache Spark为代表的大数据处理框架，它们通常有着良好的可拓展性，友好的编程接口，可以对大量的数据进行快捷有效的处理。

随着人工智能技术的发展，深度学习方法在图像、文本等欧式数据上的智能应用取得了巨大的成功。但现实中许多数据天然属于非欧式的图结构，例如社交网络、知识图谱以及分子结构等等。借鉴深度学习在欧式数据上的成果，研究人员提出了各种针对图结构的图神经网络模型(Graph Neural Networks，简称GNN)，在搜索、推荐、药物研发等领域都进行了广泛的应用。

在图挖掘算法落地应用的一般流程中，人们使用大数据处理框架对海量原始数据进行数据预处理，再使用图神经网络框架获取Embedding(表征)，最后又返回大数据处理框架完成机器学习(Machine Learning,简称ML)算法训练和推理。

但目前的大数据处理框架与图深度学习框架是割裂的，这使得高效的整合数据预处理和GNN模型训练成为了一个需要解决的问题。

发明内容

有鉴于此，本申请提供一种图数据挖掘方法、装置、电子设备及机器可读存储介质。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种图数据挖掘方法，应用于基于ApacheSpark架构实现的数据处理系统，所述方法包括：

对原始数据进行预处理，得到图结构数据；

依据分布式图神经网络的训练策略，对所述图结构数据进行切分，得到多个子图数据，并将所述子图数据存储分布式内存管理系统；

构建分布式图神经网络训练函数，利用所述分布式图神经网络训练函数，依据所述分布式内存管理系统中存储的子图数据，进行分布式图神经网络模型训练，并将得到的Embedding存储到所述分布式内存管理系统；

依据所述分布式内存管理系统中保存的所述Embedding进行ML模型的训练和预测。

根据本申请实施例的第二方面，提供一种图数据挖掘装置，应用于基于ApacheSpark架构实现的数据处理系统，所述装置包括：

预处理单元，用于对原始数据进行预处理，得到图结构数据；

切分单元，用于依据分布式图神经网络的训练策略，对所述图结构数据进行切分，得到多个子图数据，并将所述子图数据存储分布式内存管理系统；

训练单元，用于构建分布式图神经网络训练函数，利用所述分布式图神经网络训练函数，依据所述分布式内存管理系统中存储的子图数据，进行分布式图神经网络模型训练，并将得到的Embedding存储到所述分布式内存管理系统；

挖掘单元，用于依据所述分布式内存管理系统中保存的所述Embedding进行ML模型的训练和预测。