[发明专利]一种存储嵌入参数的方法及装置

说明书

本申请公开了一种存储嵌入参数的方法及装置，实现合理分配存储空间的效果，该方法包括：获取待存储的嵌入参数，基于所述待存储的嵌入参数所属的嵌入组的组号，结合所述待存储的嵌入参数在所述嵌入组中的序号，确定所述待存储的嵌入参数的存储位置；在预设的共享存储空间中，基于所述存储位置以及所述待存储的嵌入参数的数据量大小，确定存在足够的存储空间时，基于所述存储位置，将所述待存储的嵌入参数存储于所述共享存储空间中。这样，能够快速确定待存储的嵌入参数的存储位置，充分利用存储空间，同时，有效避免存储嵌入参数时发生冲突，从而合理、高效的分配存储空间。

技术领域

本申请涉及计算机技术领域，尤其涉及一种存储嵌入参数的方法及装置。

背景技术

张量流TensorFlow是一个基于数据流编程的符号数学系统，被广泛应用于各类机器学习算法的编程实现。基于TensorFlow，可以训练各种神经网络模型，用于图像、自然语言理解等研究。

具体的，参阅图1所示，TensorFlow中通常包含有参数服务器、执行服务器以及预估服务器，其中，参数服务器用于在模型训练过程中存储模型参数，执行服务器用于在模型训练过程中从参数服务器处获取模型参数，并进行梯度更新，而预估服务器用于将训练完毕的模型部署到线上。TensorFlow中，由参数服务器和执行服务器进行迭代训练，当参数服务器和执行服务器训练了一批数据并生成相应的模型时，迭代就完成了。

TensorFlow的模型推送方式是将参数服务器中的模型存储成模型镜像，然后再将模型批量推送到预估服务器。模型参数中通常包含有网络参数和嵌入(Embedding)参数，其中，相同属性的Embedding参数组成一个嵌入组(Embedding Group)，已有技术下，同一个Embedding Group中的各个Embedding参数被保存的在一个固定长度的嵌入表(EmbeddingTable)。

具体的，在一个Embedding Group中，每个Embedding参数都有自己的序号，假设序号记为id，而参数服务器只支持固定长度的Embedding Table，因此，对于一个EmbeddingGroup，参数服务器需要提前预估上述Embedding Group的大小，从而确定对应的EmbeddingTable的固定长度n，然后将上述Embedding Group中的各个Embeddin参数存储到上述Embedding Table中id％n的存储位置。

由于各个模型中Embedding参数的数量在实时模型训练的过程中是一直变化的，并且通常能达到百亿级别，因此无法提前预估每个Embedding Group的大小，进而无法准确预估Embedding Table的固定长度n，这就造成了无法合理分配存储空间。

例如，参阅图2所示，假设Embedding Group的大小预估过小，就会造成EmbeddingTable的固定长度n的取值过小，那么，在将各个Embedding参数保存至Embedding Table的过程中，很容易造成资源冲突，如，假设Embedding Table的固定长度n的取值为100，Embedding Group中Embedding参数a的id为20，Embedding参数b的id为120，经计算，Embedding参数a和Embedding参数b的存储位置为Embedding Table中同一位置。

又例如，参阅图3所示，假设Embedding Group的大小预估过大，就会造成Embedding Table的固定长度n的取值过大，那么严重浪费存储空间。

由此可见，需要设计一种新的方案，以克服上述缺陷。

发明内容

本申请提供了一种存储嵌入参数的方法及装置，用以解决现有技术中存储空间分配不合理的问题。

本申请提供的技术方案如下：

一种存储嵌入参数的方法，应用于TensorFlow架构，包括：