[发明专利]图训练系统、数据访问方法及装置、电子设备、存储介质

权利要求书

1.一种图训练系统，其特征在于，所述图训练系统包括：

参数服务器，所述参数服务器内设置有持久性内存，所述持久性内存被配置为保证所述参数服务器在非对称场景下读数据和写数据的数据访问；

其中，所述图训练系统的参数以及嵌入，分布式地存储在所述参数服务器中；

所述图训练系统包括多个工作节点，每个工作节点内设置有持久性内存，所述持久性内存被配置为保证所述工作节点在非对称场景下读数据和写数据的数据访问；

其中，所述图训练系统将所训练的图的整个图链接结构数据存储在每个工作节点的持久性内存内；

所述参数服务器和/或所述工作节点基于键值存储系统存储数据；所述键值存储系统包括缓存池组件；所述缓存池组件与所述持久性内存和预先设置的动态随机存取存储器通信，被配置为获取数据访问请求的访问类型，并基于所述访问类型确定从所述持久性内存或所述动态随机存取存储器读写数据；或者，在在线模型预估服务的场景中，所述缓存池组件被配置为在接收到预估模型发送的数据访问请求时，确定所述预估模型从所述动态随机存取存储器内读写数据。

2.根据权利要求1所述的图训练系统，其特征在于，所述整个图链接结构数据压缩存储在每个工作节点的持久性内存内，其中，所述图链接结构的每个图节点及其邻接节点信息被存储为键值对，所述键值对的键对应于图节点的节点ID，所述键值对的值中保存所述节点ID对应的邻接节点信息。

3.根据权利要求2所述的图训练系统，其特征在于，使用循环数组保存所述邻接节点信息。

4.根据权利 要求2所述的图训练系统，其特征在于，所述值的存储结构为容量大小固定的连续内存结构，所述容量为预先分配的。

5.根据权利要求1所述的图训练系统，其特征在于，所述图训练系统用于推荐系统，所述参数服务器是所述推荐系统的参数服务器，所述推荐系统还包括：

分布式索引服务器，所述分布式索引服务器内设置有持久性内存，所述持久性内存被配置为保证所述分布式索引服务器在非对称场景下读数据和写数据的数据访问。

6.根据权利要求5所述的图训练系统，其特征在于，所述键值存储系统内绑定非统一内容访问NUMA节点，以使所述持久性内存的数据访问不跨越NUMA节点；

或者，

所述键值存储系统内采用零拷贝ZeroCopy方式访问所述持久性内存和所述动态随机存取存储器；

或者，

在设定时长内，所述键值存储系统内临界区对所述持久性内存的数据访问次数不超过设定次数。

7.根据权利要求5所述的图训练系统，其特征在于，在预先设置的高频写入低字节的场景下，所述持久性内存内设置缓存，在缓存器内写满字节后，将其所述缓存器内的字节写入所述持久性内存内。

8.一种数据访问方法，其特征在于，适用于设置有持久性内存的图训练系统的工作节点，所述方法包括：

获取所接收的数据访问请求的访问类型；

根据所述访问类型，对存储在所述工作节点的持久性内存内的整个图链接结构数据进行图遍历和/或图采样；其中，所述图链接结构的每个图节点及其邻接节点信息被存储为键值对，对存储在所述工作节点的持久性内存内的整个图链接结构数据进行图遍历和/或图采样，包括：从所述键值对的键中获取节点ID；以及/或者从所述键值对的值中获取所述节点ID对应的邻接点信息；

获取样本流，所述样本流包括节点ID及其对应的邻接点信息；以及基于所述样本流，更新所述整个图链接结构。

9.根据权利要求8所述的方法，其特征在于，所述基于所述样本流，更新所述整个图链接结构，包括：

若所述样本流中的图节点为新增节点，则将所述新增节点的节点ID存储至所述键值对的键中，并基于训练好的图，将所述新增节点的邻接点信息存储至所述新增节点的键值对的值中。