[发明专利]一种序列标注方法、装置及计算机可读存储介质

说明书

本发明提供了一种序列标注方法、装置及计算机可读存储介质。本发明提供的序列标注方法，将词性和/或句法特征引入到序列标注过程中，由于利用了更为丰富的词性和句法信息，本发明能够获得更好的序列标注的效果，提高序列标注的准确度。

技术领域

本发明涉及自然语言处理(NLP，Natural Language Processing)技术领域，具体涉及一种序列标注方法、装置及计算机可读存储介质。

背景技术

在人工智能领域，信息提取技术是一项不可或缺的重要技术。目前，信息提取技术主要包括三种算法。第一种是基于知识图谱的抽取算法。该抽取算法需要知识库图谱的数据与规则支持。建立知识图谱需要耗费大量人力资源，而最终获得的数据量却并不理想。第二种是基于传统统计机器学习算法的抽取算法，该算法可以使用手动标记的训练数据，应用不同的学习模型，以应对不同的场景，该算法存在人工成本高和推广性差的缺点，使得其在广泛应用时遇到瓶颈。最后一种算法是近年来流行的使用神经网络模型的算法。与传统的机器学习算法相比，使用了大规模的训练数据集的基于神经网络的模型，在自然语言处理任务中展现了优异的性能。

作为自然语言处理的基本任务之一，通常需要进行序列标注。序列标注是指针对某个给定的序列，对序列中的做标记，或者说给元素打一个标签。序列标注通常包括命名实体识别(NER，Named Entity Recognition)、中文分词以及分类问题(如关系识别、情感分析、意图分析等)。

例如，命名实体识别(NER，Named Entity Recognition)是自然语言处理中常见的一项任务，命名实体在很多应用中被作为语义表示的基本单元，其使用的范围非常广，因此命名实体识别技术具有重要作用。命名实体通常指的是文本中具有特别意义或者指代性非常强的实体，通常包括人名、地名、机构名、时间和专有名词等。命名实体识别技术起着重要作用，因为命名实体在很多任务中被作为语义表示的基本单元。序列标注问题通常需要标注数据进行模型训练，通常可以利用基于深度学习的神经网络模型。

因此，高精度的序列识别方法，在开发高性能翻译，对话，舆情监测，主题跟踪以及语义理解等系统中具有重要意义。

发明内容

本发明实施例要解决的技术问题是提供一种序列标注方法及装置，提高序列标注的准确性。

根据本发明实施例的一个方面，提供了一种序列标注方法，包括：

生成训练语句中的单词的第一标签，所述第一标签包括词性标签和/或句法标签；

针对所述训练语句，构建基于所述第一标签的第一特征向量，并通过神经网络模型生成所述第一特征向量的第一隐藏状态；

针对所述训练语句，生成包含有预设字典的字典特征的第二特征向量，并通过所述神经网络模型生成所述第二特征向量的第二隐藏状态，所述预设字典包括有多个参考标注结果；

合并所述第一隐藏状态与第二隐藏状态，得到第三隐藏状态；

根据所述第三隐藏状态进行序列标注，获得所述训练语句的序列标注结果。

此外，根据本发明的至少一个实施例，所述针对所述训练语句，构建基于所述第一标签的第一特征向量的步骤，包括：

将所述训练语句的每个单词替换为该单词所属的第一标签所对应的概率，得到所述第一特征向量；其中，每个单词所属的第一标签所对应的概率，与第一类单词在第二类单词中的比例正相关，所述第二类单词为所述训练语句中该单词所属的第一标签下的单词，所述第一类单词为所述第二类单词中属于所述参考标注结果的单词。

此外，根据本发明的至少一个实施例，所述针对所述训练语句，生成包含有预设字典的字典特征的第二特征向量的步骤，包括：

获得所述训练语句中各个单词的词嵌入向量；