[发明专利]一种基于词粒度的自然语言模型的训练方法与系统

权利要求书

1.一种基于词粒度的自然语言模型的训练方法，包括：

根据词典将训练语料分词，所述分词的粒度为词语；

根据词频，将分词的结果按照词频大小排序，分为三组词语，分别为高频词语、中频词语、低频词语；

将所述三组词语嵌入向量；通过变形层进行编码与解码，得到带有浮点数的多个向量；

将所述带有浮点数的多个向量通过自适应线性层，将其中概率超过阈值的向量选择为输出，并转化为预测词语；

训练自然语言模型时，使用中文句子为样本数据，以及预先确定的预测词语为样本标签；使用自适应优化器训练自然语言模型，所述自适应优化器使用矩阵的低秩分解来压缩训练中产生的变量。

2.如权利要求1所述的方法，其中，所述自适应线性层首先只使用高频词语预测，当发现表示预测词语是中频或低频词语的第一预测概率较高时，则继续使用中频或低频词语进行预测，在得到表示预测词语是中频或低频词语的第二预测概率时，则预测词语的实际概率即为第一预测概率与第二预测概率的乘积。

3.如权利要求2所述的方法，其中，所述训练自然语言模型时，预加载了基于字粒度自然语言模型的权重，所述基于词粒度的自然语言模型的词权重是由组成该词的每一个字的基于字粒度的自然语言模型的字权重的和的平均值。

4.如权利要求3所述的方法，其中，所述分词还包括：采用将长词切分成短词和字的分词方法。

5.如权利要求1所述的方法，还包括：得到所述预测词语后，训练还包括预测下一句话的任务。

6.如权利要求1所述的方法，还包括：所述训练使用多卡分布式策略，在多个GPU上同时进行。

7.如权利要求1所述的方法，还包括：调整高频词语、中频词语、低频词语的比例，使得训练时，每次训练的数据样本数量维度可以适应GPU计算能力。

8.一种用于训练基于词粒度的自然语言模型的系统，包括：

分词单元，用于根据词典将训练语料分词，所述分词的粒度为词语；

词频单元，用于根据词频，将分词的结果按照词频大小排序，分为三组词语，分别为高频词语、中频词语、低频词语；

分析单元，用于将所述三组词语嵌入向量；通过变形层进行编码与解码，得到带有浮点数的多个向量；

预测单元，用于将所述带有浮点数的多个向量通过自适应线性层，将其中概率超过阈值的向量选择为输出，并转化为预测词语；

训练自然语言模型时，使用中文句子为样本数据，以及预先确定的预测词语为样本标签；使用自适应优化器训练自然语言模型，所述自适应优化器使用矩阵的低秩分解来压缩训练中产生的变量。

9.一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1至7任一项所述方法。

10.一种计算机可读存储介质，其上存储有可执行指令，所述可执行指令被处理器执行时使处理器执行如权利要求1至7任一项所述方法。