[发明专利]图训练系统、数据访问方法及装置、电子设备、存储介质

说明书

本公开关于一种图训练系统、数据访问方法及装置、电子设备、存储介质。一种图训练系统，包括参数服务器，所述参数服务器内设置有持久性内存，所述持久性内存被配置为保证所述参数服务器在非对称场景下读数据和写数据的数据访问；其中，所述图训练系统的参数以及嵌入，分布式地存储在所述参数服务器中。因此，通过在大规模图神经网络训练系统中使用可持久性内存，带来极大的性能改善，为改善大规模机器学习模型训练系统的性能开辟了新的方向。并且，该图训练系统以及持久性内存也可以应用于推荐系统以满足大规模推荐场景的需求，提高推荐系统的数据吞吐量，并可以降低存储成本。同时，使得故障重启时间大大减少，极大提高了系统可用性。

相关申请的交叉引用

本申请要求在2019年8月3日提交中国专利局、申请号为201910714160.5、申请名称为“推荐系统、数据访问方法及装置、电子设备、存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本公开涉及视频编码技术领域，尤其涉及一种图训练系统、数据访问方法及装置、电子设备、存储介质。

背景技术

近来，图神经网络(GNN)在各个领域广受关注，比如社交网络、知识图谱、推荐系统以及生命科学等。GNN在对图节点之间依赖关系进行建模的强大功能使得与图分析相关的研究领域取得了突破。

为了支持数百亿边级别规模的动态图学习，传统的图计算引擎需要通过图划分算法将图划分成多个分片，然后进行分布式处理。而作为图神经网络训练中相对耗时的图遍历采样部分，图分片算法的好坏直接决定了图遍历采样中跨分片跨机器访问的数量，直接关系到图遍历采样的性能和效率。而且很多现有经典划分算法往往对稠密图是很难降低跨机器跨分片访问数量的。

因此，如何改善大规模机器学习模型训练系统的性能，以突破由于跨分片跨机器访问导致的性能和效率差的问题，成为亟需解决的问题。

发明内容

本公开提供一种图训练系统、数据访问方法及装置、电子设备、存储介质，以解决相关技术中存在的问题。

本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图训练系统，所述图训练系统包括：参数服务器，所述参数服务器内设置有持久性内存，所述持久性内存被配置为保证所述参数服务器在非对称场景下读数据和写数据的数据访问；其中，所述图训练系统的参数以及嵌入，分布式地存储在所述参数服务器中。

可选地，所述图训练系统包括多个工作节点，每个工作节点内设置有持久性内存，所述持久性内存被配置为保证所述工作节点在非对称场景下读数据和写数据的数据访问，其中，所述图训练系统将所训练的图的整个图链接结构数据存储在每个工作节点的持久性内存内。

可选地，所述参数服务器和/或所述工作节点基于键值存储系统存储数据；所述键值存储系统包括缓存池组件；所述缓存池组件与所述持久性内存和预先设置的动态随机存取存储器通信，被配置为获取数据访问请求的访问类型，并基于所述访问类型确定从所述持久性内存或所述动态随机存取存储器读写数据。

可选地，在在线模型预估服务的场景中，所述缓存池组件被配置为在接收到预估模型发送的数据访问请求时，确定所述预估模型从所述动态随机存取存储器内读写数据。

可选地，所述整个图链接结构数据压缩存储在每个工作节点的持久性内存内，其中，所述图链接结构的每个图节点及其邻接节点信息被存储为键值对，所述键值对的键对应于图节点的节点ID，所述键值对的值中保存所述节点ID对应的邻接节点信息。

可选地，使用循环数组保存所述邻接节点信息。