[发明专利]一种序列标注方法、装置及设备

权利要求书

1.一种序列标注方法，其特征在于，包括步骤：

获取p个源领域的训练数据集和目标领域的训练数据集；其中，每个所述源领域的训练数据集中包括训练句子对应的嵌入表示、所述训练句子中各个单词对应的真实标签和所述训练句子对应的真实上下文关系，所述目标领域的训练数据集中包括训练句子对应的嵌入表示和所述训练句子对应的真实上下文关系；

根据第k-1个所述源领域的序列标注模型参数中的共享参数、随机初始化的第k个所述源领域的语言模型参数中的领域参数和预设的参数生成器，得到第k个所述源领域的语言模型参数；其中，所述序列标注模型参数和所述语言模型参数均包括共享参数和领域参数；

将第k个所述源领域的训练句子对应的嵌入表示输入至所述第k个所述源领域的语言模型中，得到第k个所述源领域的语言模型输出的训练句子对应的隐藏状态信息；

根据第k个所述源领域的训练句子对应的隐藏状态信息，得到第k个所述源领域的训练句子对应的真实上下文关系的输出概率；

根据第k个所述源领域的语言模型参数中的共享参数、随机初始化的第k个所述源领域的序列标注模型参数中的领域参数和预设的参数生成器，得到第k个所述源领域的序列标注模型参数；

将第k个所述源领域的训练句子对应的嵌入表示输入至第k个所述源领域的序列标注模型中，得到第k个所述源领域的序列标注模型输出的训练句子对应的隐藏状态信息；

根据第k个所述源领域的训练句子对应的隐藏状态信息和预设的条件随机场算法，得到第k个所述源领域的训练句子中的各个单词对应的真实标签的输出概率；

重复执行上述步骤，直至得到第p个所述源领域的序列标注模型参数之后，根据第p个所述源领域的序列标注模型参数中的共享参数、随机初始化的所述目标领域的语言模型参数中的领域参数和预设的参数生成器，得到所述目标领域的语言模型参数；

将所述目标领域的训练句子对应的嵌入表示输入至所述目标领域的语言模型中，得到所述目标领域的训练句子对应的隐藏状态信息；

根据所述目标领域的训练句子对应的隐藏状态信息，得到所述目标领域的训练句子对应的真实上下文关系的输出概率；

根据p个所述源领域的训练句子对应的真实上下文关系的输出概率、p个所述源领域的训练句子中的各个单词对应的真实标签的输出概率、所述目标领域的训练句子对应的真实上下文关系的输出概率以及预设的联合损失函数，对p个所述源领域的语言模型、p个所述源领域的序列标注模型以及所述目标领域的语言模型进行训练，得到使所述联合损失函数值最小的所述训练好的p个所述源领域的语言模型参数、p个所述源领域的序列标注模型参数和所述目标领域的语言模型参数；

获取目标领域内目标句子对应的嵌入表示；将所述目标句子对应的嵌入表示输入至预设的所述目标领域的语言模型中，得到所述目标句子对应的句子特征表示；其中，预设的所述目标领域的语言模型采用预训练好的所述目标领域的语言模型参数；

根据所述目标句子对应的句子特征表示、预训练好的各个源领域的序列标注模型参数和预设的源领域参数学习算法，得到所述目标领域的序列标注模型参数；

将所述目标句子对应的嵌入表示输入采用所述目标领域的序列标注模型参数的序列标注模型，得到所述目标句子对应的隐藏状态信息；

根据所述目标句子对应的隐藏状态信息和预设的条件随机场算法，得到所述目标句子中各个单词对应的标签。

2.根据权利要求1所述的序列标注方法，其特征在于，所述根据所述目标句子对应的句子特征表示、预训练好的各个源领域的序列标注模型参数和预设的源领域参数学习算法，得到所述目标领域的序列标注模型参数，包括步骤：

根据所述目标句子对应的句子特征表示、预训练好的各个所述源领域的序列标注模型参数和预设的参数权重计算公式，得到各个所述源领域的序列标注模型参数的权重；

根据各个所述源领域的序列标注模型参数和各个所述源领域的序列标注模型参数的权重，获取所述目标领域的序列标注模型参数。