[发明专利]一种基于自监督学习的命名实体识别方法

说明书

本发明公开了一种基于自监督学习的命名实体识别方法，该方法包括：对数据集进行预处理，并利用处理好的数据集构建正例句子对和负例句子对，利用embedding编码器分别对正例句子对和负例句子对中的句子进行编码；在基于自监督学习的命名实体识别模型中根据不同的实体特征以及相似度矩阵学习到实体在不同语境中的不同释义，充分根据正例句子对以及负例句子对的相似度学习其特征向量，满足不同语料库的语种上的差异。本发明提高了命名实体识别的准确率，并通过知识图谱解决输出结果中因单词缩写引起的实体类型识别错误的问题，从而可以更准确地预测实体以及实体类型，使得具有多义性单词的词嵌入向量能更好的表示该词在当前语境中的释义。

技术领域

本发明涉及一种命名实体识别方法，更具体涉及一种基于自监督学习的命名实体识别方法。

背景技术

大数据时代来临，对于命名实体识别的研究逐渐成为认知科学，信息科学和智能科学的交叉学科和国际新兴的前沿领域之一。近年来，西方发达国家对命名实体识别的重视程度与日俱增，开源信息抽取成为各国制定国防政策、战略决策和指挥作战的重要依据之一。命名实体识别在学术界也迅速成为信息学领域的国际前沿热点之一。

现存的命名实体识别方法大多根据文本抽取实体及实体类型。命名实体识别的主要任务是识别出文本中人名，地名等专有名词和有意义的时间、日期等数量短语并加以归类。命名实体识别主要有三种方法：基于规则的方法，基于统计学的方法和基于监督学习的方法。

基于规则的方法主要通过预先构建一些特殊的规则，通过文本规则来抽取文本中的实体。基于规则的方法在某些特定领域上拥有较高的准确度，但也正因为基于规则的方法只在某些特定的领域上拥有较高的准确度，造成了很大的局限性，例如跨领域的可移植性很差；基于统计学的方法主要对文本信息进行统计，从文本语料库中挖掘出单词特征。基于统计学的方法对于语料库的要求较高，而目前适用于大型命名实体识别任务评估的通用语料库较少，这也在一定程度上限制了该方法的发展；基于监督学习的方法主要从训练数据中通过训练得到分类器，并将分类器应用到新的实体识别当中，基于监督学习的方法在一定程度上解决了基于规则方法的在特定领域上的局限性，也在一定程度上解决了对通用语料库要求高的问题，然而该方法在词嵌入阶段没有很好的学习到多义性单词在当前语境下的表达。

本发明利用自监督学习对多义性单词进一步学习，提出了基于自监督学习的命名实体识别方法，构建了完整的命名实体识别模型。

发明内容

本发明的一个目的是针对现有命名实体识别技术在词嵌入阶段没有很好的学习到多义性单词在当前语境中的释义的问题，提供一种基于自监督学习的命名实体识别方法，基于任意语料库，利用对比子监督学习模型使得具有多义性单词的词嵌入能更好的表示该词在当前语境中的释义，以提高命名实体的识别度。

本发明所采用的技术方案如下：

步骤1：对数据集进行预处理；

1-1将数据集中已标注好实体类型的单词连词成句；

1-2将步骤1-1的句子s_i采用任意语种翻译成句子a_i，然后再将句子a_i用与s_i相同语种翻译成正例句子

步骤2：将步骤1中处理后的句子构建正负例句子对集合，其中正例句子对集合为集合组成，负例句子对集合为集合组成，负例句子对由原始句子和语料库中其余句子翻译后的句子组成；

步骤3：使用embedding编码器分别对正例句子对和负例句子对中的句子进行embedding编码；

步骤4：将embedding编码后的词嵌入向量输入至深度神经网络层DNN；