[发明专利]基于多任务学习的词向量训练方法、系统、设备及介质

权利要求书

1.一种基于多任务学习的词向量训练方法，其特征在于，所述方法包括：

获取训练集；其中，所述训练集包括文本词语序列-命名实体标签序列的配对数据；

搭建语言模型模块和命名实体识别模块，将语言模型模块和命名实体识别模块作为外部模块；

交替训练词向量字典和外部模块；其中，所述词向量字典采用文本词语序列和外部模块的输出进行训练，所述语言模型模块采用词向量字典训练输出的词向量序列进行训练，所述命名实体识别模块采用词向量字典训练输出的词向量序列和命名实体标签序列进行训练；

所述词向量字典的参数更新公式如下：

其中，θ为词向量字典矩阵参数，L_LM为语言模型模块的损失函数，L_NER为命名实体识别模块的损失函数；词向量字典利用梯度下降，求出语言模型模块的损失函数和命名实体识别模块的损失函数对θ的偏微分，乘上一个学习系数lr，对θ进行更新。

2.根据权利要求1所述的词向量训练方法，其特征在于，所述语言模型模块包括一个单层长短期记忆网络结构和一个全连接层。

3.根据权利要求1所述的词向量训练方法，其特征在于，所述命名实体识别模块采用变换网络结构中的编码器，包括六个堆叠的编码器；

每个编码器包括一个自注意力层和一个全连接层，最顶层编码器的输出向量再输入一个全连接层和一个softmax层，计算每个标签的概率，并取概率最大的标签作为预测标签。

4.根据权利要求1-3任一项所述的词向量训练方法，其特征在于，所述语言模型模块的损失函数如下式：

其中，N与T分别为mini-batch的样本数量以及每个句子的长度，对于第i个句子xⁱ，根据前j个词语正确预测出下一个词语的概率为

5.根据权利要求1-3任一项所述的词向量训练方法，其特征在于，所述命名实体识别模块的损失函数如下式：

其中，N与T分别为mini-batch的样本数量以及每个句子的长度，对于第i个句子xⁱ的第j个词语，正确的标签为模型正确预测出该标签的概率为

6.根据权利要求1-3任一项所述的词向量训练方法，其特征在于，所述外部模块的参数更新公式如下：

其中，为语言模型模块参数，τ为命名实体识别模型参数，L_LM为语言模型模块的损失函数，L_NER为命名实体识别模块的损失函数；语言模型模块利用梯度下降，求出语言模型模块的损失函数对的偏微分，乘上一个学习系数lr，对进行更新；命名实体识别模型利用梯度下降，求出命名实体识别模型的损失函数对τ的偏微分，乘上一个学习系数lr，对τ进行更新。

7.一种基于多任务学习的词向量训练系统，其特征在于，所述系统包括：

获取单元，用于获取训练集；其中，所述训练集包括文本词语序列-命名实体标签序列的配对数据；

搭建单元，用于搭建语言模型模块和命名实体识别模块，将语言模型模块和命名实体识别模块作为外部模块；

训练单元，用于交替训练词向量字典和外部模块；其中，所述词向量字典采用文本词语序列和外部模块的输出进行训练，所述语言模型模块采用词向量字典训练输出的词向量序列进行训练，所述命名实体识别模块采用词向量字典训练输出的词向量序列和命名实体标签序列进行训练；

所述词向量字典的参数更新公式如下：

其中，θ为词向量字典矩阵参数，L_LM为语言模型模块的损失函数，L_NER为命名实体识别模块的损失函数；词向量字典利用梯度下降，求出语言模型模块的损失函数和命名实体识别模块的损失函数对θ的偏微分，乘上一个学习系数lr，对θ进行更新。

8.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-6任一项所述的词向量训练方法。

9.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-6任一项所述的词向量训练方法。