[发明专利]基于RNN的语言模型的训练方法及相关装置

说明书

本发明提供了一种基于RNN的语言模型的训练方法及相关装置，方法包括将一条长句子训练数据的元素按照时间划分为至少两部分，针对每部分均计算一次Nce损失值；根据Nce损失值，利用BPTT计算梯度；最后根据计算得到的梯度更新基于RNN的语言模型的参数。针对一条长句子训练数据的每部分计算一次Nce损失值，多次更新基于RNN的语言模型的参数，提高了语言模型的训练速度。将一条长句子训练数据分为至少两部分，基于拆分后的各部分计算梯度优化模型，由于拆分后的各部分相比于未拆分的一条长句子训练数据，时序上的时间点变少，梯度消失的概率变小，可以提高了语言模型的训练效果，即提高了语言模型的预测准确率。

技术领域

本发明涉及数据处理领域，更具体地说，涉及一种基于RNN的语言模型的训练方法及相关装置。

背景技术

基于RNN(Recurrent Neural Network，循环神经网络)的语言模型实际上是一种预测模型，预测空间为字典空间，得到的结果为预测空间中各个事件的后验概率。目前，考虑到计算效率的问题，在训练基于RNN的语言模型时，通常使用Nce(Noise-ContrastiveEstimation，噪声对比估计)函数。在训练模型时，将所有正样本分为n批，每一批(即batch)中包括若干条数据，针对每一批，准备一组负样本；负样本是从预设的词库中抽取出来的。利用每个batch正样本与对应的负样本，计算Nce损失；计算出Nce损失后，使用BPTT(Backpropagation Through Time，随时间反向传播)算法更新模型的参数。

发明人发现RNN使用的是随时间方向传播，即沿着时间序列一步一步向反向传播梯度，这很容易造成梯度消失。梯度消失会导致模型训练时候的梯度无法影响到参数调节，从而导致收敛不足，造成训练好的语言模型的预测结果有偏差。

发明内容

有鉴于此，本发明提出一种基于RNN的语言模型的训练方法及相关装置，欲提高语言模型的训练速度，以及提高语言模型的训练效果。

为了实现上述目的，现提出的方案如下：

第一方面，提供一种基于RNN的语言模型的训练方法，包括：

将一条长句子训练数据的元素按照时间划分为N部分，N≥2；

对于所述长句子训练数据中还未计算Nce损失值的时间最早的部分，结合与其对应的一组负样本，计算得到Nce损失值；

根据计算得到的Nce损失值，利用BPTT计算得到梯度；

根据所述梯度更新基于RNN的语言模型的参数；

判断所述长句子训练数据划分的所有部分是否均计算了Nce损失值，若否，则转入执行对于所述长句子训练数据中还未计算Nce损失值的时间最早，结合与其对应的一组负样本，计算得到Nce损失值的步骤，若是，则结束。

优选的，在每次执行对于所述长句子训练数据中还未计算Nce损失值的时间最早的部分，结合与其对应的一组负样本，计算得到Nce损失值的步骤之前，还包括：

从预设的元素库中随机抽取若干元素作为与所述长句子训练数据中还未计算Nce损失值的时间最早的部分对应的一组负样本。

优选的，在所述将一条长句子训练数据的元素按照时间划分为N部分的步骤之后，且在对于所述长句子训练数据中还未计算Nce损失值的时间最早的部分，结合与其对应的一组负样本，计算得到Nce损失值的步骤之前，还包括：

从预设的元素库中随机抽取元素生成M组负样本，2≤M≤N；

将所述长句子训练数据的N部分划分为M组，且所述N部分划分的M组中的各组与所述M组负样本中的各组负样本一一对应。

优选的，所述基于RNN的语言模型，具体为：

基于LSTM的语言模型。