[发明专利]基于双层索引嵌入层的推荐模型分布式训练方法及GPU

权利要求书

1.一种基于双层索引嵌入层的推荐模型分布式训练方法，其特征在于：所述方法包括：

于服务器节点和计算节点对于嵌入层向量分别构造两层索引，其中，所述服务器节点内为静态索引，所述计算节点内为动态索引；

在所述服务器节点引入采样器，根据采样数据制定分片策略；

在所述计算节点引入乒乓缓冲区读取和写入嵌入层向量，并基于相邻迭代的输入预取所述嵌入层向量，形成数据预取流水线。

2.根据权利要求1所述的基于双层索引嵌入层的推荐模型分布式训练方法，其特征在于：所述于服务器节点和计算节点对于嵌入层向量分别构造两层索引包括：

通过参数服务器架构将完整的嵌入层初始化在服务器节点，并在服务器节点构造第一层索引用于嵌入层的参数同步更新；

在计算节点内预分配与输入维度和计算节点内工作节点个数相关的显存空间，在每个迭代周期聚合各工作节点的输入动态构造第二层索引以支持嵌入层计算。

3.根据权利要求1或2所述的基于双层索引嵌入层的推荐模型分布式训练方法，其特征在于：还包括：基于索引结构的通信方式配置：所述在计算节点内先聚合各工作节点的输入，并初始化通信缓冲区代替工作节点与服务器节点通信。

4.根据权利要求1所述的基于双层索引嵌入层的推荐模型分布式训练方法，其特征在于：所述根据采样数据制定分片策略包括：

采样器根据采样规则对训练集进行采样得到嵌入层的访问频率；

再通过预先设定的阈值筛选出嵌入层热点参数，并通过热点位图记录热点参数；

根据热点参数的访问频率，通过可更换的热点感知分片策略在各服务器节点再次将热点参数初始化，建立嵌入层索引到服务器节点的分片映射表；

在训练时基于所述热点位图判断当前嵌入向量是否为热点参数，若是则根据所述分片映射表拉取和更新嵌入向量，并旁路原有映射。

5.根据权利要求1所述的基于双层索引嵌入层的推荐模型分布式训练方法，其特征在于：所述在所述计算节点引入乒乓缓冲区读取和写入嵌入层向量包括：

根据预设的输入维度建立乒乓缓冲区，包含可读缓冲区和可写缓冲区；

可读缓冲区服务于当前迭代的嵌入层计算，可写缓冲区基于下一迭代的输入写入对应的嵌入层向量。

6.根据权利要求5所述的基于双层索引嵌入层的推荐模型分布式训练方法，其特征在于：所述数据预取流水线根据当前迭代和下一迭代的输入提前拉取未被更新的嵌入层向量。

7.根据权利要求6所述的基于双层索引嵌入层的推荐模型分布式训练方法，其特征在于：所述数据预取流水线的过程包括：

计算节点内各工作节点时，首先读入当前迭代的输入以构造对应的第二层索引放入可读缓冲区，再读入下一迭代的输入以构造索引放入可写缓冲区；

在与服务器节点通信时，拉取可读缓冲区中所有索引对应的嵌入向量放入可读缓冲区并开始模型计算；

在模型计算时，启动通信线程与服务器节点第二次通信，向服务器节点请求可写缓冲区中未被访问的索引。

8.根据权利要求7所述的基于双层索引嵌入层的推荐模型分布式训练方法，其特征在于：所述服务器节点对第一次通信计数，当通信数等于工作节点数时，允许处理各工作节点的第二次通信；之后，所述服务器节点查看访问位图判断是否在前一迭代中访问，返回其中没被访问的嵌入层参数，并对第二次通信计数，等于工作节点数时将位图重置。

9.根据权利要求1所述的基于双层索引嵌入层的推荐模型分布式训练方法，其特征在于：所述计算节点的通信线程在第二次通信过程中持有锁，直到下一迭代请求返回未被访问的嵌入层并拷贝到可写缓冲区中对应位置后才释放，且下一次迭代的计算需等待锁释放才可进行。

10.一种GPU，其特征在于：所述GPU应用如权利要求1至权利要求10任一权利要求所述的基于双层索引嵌入层的推荐模型分布式训练方法。