[发明专利]一种序列标注的训练方法、装置及计算机可读存储介质

说明书

本发明提供了一种序列标注的训练方法、装置及计算机可读存储介质。本发明提供的序列标注的训练方法，在序列标注的训练过程中，使用自注意力机制自动学习字的词边界特征信息，从而无需依赖其他分词工具或词典就可以在序列标注中引入词边界特征信息，简化了序列标注的实现，提高了序列标注效率和准确性。

技术领域

本发明涉及自然语言处理(NLP，Natural Language Processing)技术领域，具体涉及一种序列标注的训练方法、装置及计算机可读存储介质。

背景技术

序列标注问题是自然语言中的常见问题，常见的序列标注问题的解决方案包括隐马尔可夫模型(HMM，Hidden Markov Model)、最大熵模型和条件随机场(CRF，ConditionalRandom Field)模型。目前，随着深度学习的发展，递归神经网络(RNN，Recurrent NeuralNetwork)已经应用于序列标注问题中，简化了序列标注问题的解决。

所谓“序列标注”，通常是指，对于一个一维线性输入序列，给线性序列中的每个元素打上标签集合中的某个标签，所以，其本质上是对线性序列中每个元素根据上下文内容进行分类的问题。一般情况下，对于NLP任务来说，线性序列就是输入的文本，例如，可以把一个汉字看作线性序列的一个元素，而不同任务其标签集合代表的含义可能不太相同，但是相同的问题都是：如何根据汉字的上下文给汉字打上一个合适的标签。

绝大多数NLP问题都可以转化为序列标注问题，序列标注问题包括自然语言处理中的分词、词性标注、命名实体识别、关键词抽取和词义角色标注等等。通常，在做序列标注时需要提供特定的标签集合，进而进行序列标注。

可见，如果能够简化序列标注的实现，提高序列标注的效率，将对开发高性能翻译，对话，舆情监测，主题跟踪以及语义理解等系统中具有重要意义。

发明内容

本发明实施例要解决的技术问题是提供一种序列标注的训练方法、装置及计算机可读存储介质，简化序列标注的实现，提高序列标注的效率。

根据本发明实施例的一个方面，提供了一种序列标注的训练方法，包括：

根据已标注标签的训练语句集，为训练语句集中的字生成字向量；

按照正向序列方向和反向序列方向，将所述训练语句中以当前字向量为边界的多个字向量序列，输入至两层自注意力模型，生成当前字向量在不同序列方向上的词边界特征向量；

将当前字向量分别和当前字向量在不同序列方向上的词边界特征向量拼接后输入至双向长短期记忆Bi-LSTM模型，获得所述Bi-LSTM模型的隐藏层状态输出；

根据所述Bi-LSTM模型的隐藏层状态输出，并利用条件随机场模型进行标签预测训练。

此外，根据本发明至少一个实施例，所述两层自注意力模型包括P-1个第一层自注意力模型和1个第二层自注意力模型，其中：

所述P-1个第一层自注意力模型的输入分别为长度2到P的字向量序列，所述字向量序列为从所述训练语句中的第一字向量开始，截止到所述当前字向量的序列，所述第一字向量为按照序列方向位于当前字向量之前的字向量，所述P为大于或等于3的整数；

所述第二层自注意力模型的输入为所述P-1个第一层自注意力模型的输出，第二层自注意力模型的输出作为当前字向量的词边界特征向量。

此外，根据本发明至少一个实施例，将当前字向量分别和当前字向量在不同序列方向上的词边界特征向量拼接后输入至双向长短期记忆Bi-LSTM模型，获得所述Bi-LSTM模型的隐藏层状态输出的步骤，包括：

将当前字向量分别和当前字向量在不同序列方向上的词边界特征向量拼接，得到两个拼接向量；