[发明专利]一种基于自监督学习的命名实体识别方法

权利要求书

1.一种基于自监督学习的命名实体识别方法，其特征在于该方法包括以下步骤：

步骤1：对数据集进行预处理；

1-1将数据集中已标注好实体类型的单词连词成句；

1-2将步骤1-1的句子s_i采用任意语种翻译成句子a_i，然后再将句子a_i用与s_i相同语种翻译成正例句子

步骤2：将步骤1中处理后的句子构建正负例句子对集合，其中正例句子对集合为集合组成，负例句子对集合为集合组成，负例句子对由原始句子和语料库中其余句子翻译后的句子组成；

步骤3：使用embedding编码器分别对正例句子对和负例句子对中的句子进行embedding编码；

步骤4：将embedding编码后的词嵌入向量输入至深度神经网络层DNN；

步骤5：将步骤4中得到的正例句子对的输出向量和负例句子对的输出向量做相似度计算，并将计算结果按照行拼接为一个全新的相似度矩阵M_sim；并利用对比损失函数l通过反向传播，梯度下降算法优化步骤3中embedding编码器f_k中的参数；

步骤6：获取已标注实体类型的单词所构成的句子，构建数据集，然后进一步将其分为训练集和测试集；

步骤7：搭建基于自监督学习的命名实体识别模型，其包括依次级联的主网络、修正模块；然后利用训练集对主网络进行训练，再利用测试集对训练好的主网络进行测试，最后利用修正模块对测试后主网络输出结果进行修正；

所述主网络包括步骤5优化后embedding编码器f_k、双向LSTM层、CRF层；

所述修正模块包括词组检索模块、实体类型修改模块；其中词组检索模块，用于获取主网络输入项的潜在实体集，并筛选出存在于公开知识图谱的潜在实体，然后将该潜在实体以及实体类型构建成潜在实体集PE；所述潜在实体包括各单词、由多个单词构成的词组；所述实体类型修改模块，用于接收词组检索模块输出的潜在实体集PE，以及主网络输出的实体类型标签，然后将主网络输出的实体类型与潜在实体集PE中主网络输入项中各潜在实体对应的实体类型进行比对，若一致则无需修改，若不一致则修正主网络的输出结果；

步骤8：利用测试好的基于自监督学习的命名实体识别模型实现文本的命名实体识别。

2.如权利要求1所述的一种基于自监督学习的命名实体识别方法，其特征在于所述embedding编码器f_q、f_k的初始化参数θ_q、θ_k相同。

3.如权利要求1所述的一种基于自监督学习的命名实体识别方法，其特征在于步骤3具体是：

将句子s_i输入至embedding编码器f_q进行词嵌入编码，并得到编码后的结果q_i；同时将句子s_i的对应正负例句子输入至embedding编码器f_k进行词嵌入编码，并得到编码后的结果

4.如权利要求1所述的一种基于自监督学习的命名实体识别方法，其特征在于所述深度神经网络层包括第一全连接层、Relu层和第二全连接层；

(1)第一全连接层：将embedding编码器f_q、f_k输出的embedding向量通过一层线性变化转化为相同维度的输出向量；

o_dense1＝Wx_input+b

其中，o_dense1表示输出向量，x_input表示未经优化的embedding编码器输出的embedding向量，W代表权值矩阵，b代表偏置向量；

(2)Relu层：将第一全连接层的输出向量输入Relu激活函数使模型的收敛速度维持在一个稳定状态；

o_dense2＝max(o_dense1，0)

其中，o_dense2代表Relu层的输出向量；

(3)第二全连接层：将Relu层的输出向量转化为与预测实体类型种类数相同维度的输出向量。