[发明专利]基于关联记忆网络的中文细粒度命名实体识别方法及装置

权利要求书

1.基于关联记忆网络的中文细粒度命名实体识别方法，其特征在于，包括步骤：

S1，给定输入句子S，计算输入句子S和训练集中句子的距离，将训练集中与输入句子S距离最近的几个句子作为记忆句子；

S2，对输入句子S和记忆句子中的字符进行上下文编码，并将记忆句子的实体标签转换为标签序列，进行标签嵌入；

S3，通过关联记忆网络计算输入句子S中每个字符和记忆句子中每个字符的注意力矩阵，并与记忆句子对应的标签嵌入相乘，将标签信息融入序列表示中；

S4，通过多头自注意机制结合句子任意位置之间的相互关注，对融入了标签信息的序列表示进行重新编码；

S5，通过条件随机场学习各实体标签之间的规则，再使用维特比算法输出概率最高的标签序列。

2.基于关联记忆网络的中文细粒度命名实体识别装置，其特征在于，包括用于构建基于关联记忆网络的中文细粒度命名实体识别模型的程序和运行该程序的可读存储介质；所述运行该程序的可读存储介质包括输入层模块、嵌入层模块、关联记忆网络模块、多头自注意层模块、条件随机场层模块和输出层模块；

所述输入层模块用于进行记忆句子的选择，计算输入句子和训练集中句子的距离，将训练集中与输入句子距离最近的几个句子作为记忆句子；

所述嵌入层模块对输入句子和记忆句子中的字符进行上下文编码，并将记忆句子的实体标签转换为标签序列，进行标签嵌入；

所述关联记忆网络模块计算输入句子中每个字符和记忆句子中每个字符的注意力矩阵，并与记忆句子对应的标签嵌入相乘，将标签信息融入序列表示中；

所述多头自注意层模块结合句子任意位置之间的相互关注，对融入了标签信息的序列表示进行重新编码；

所述条件随机场层模块学习各实体标签之间的规则；

所述输出层模块使用维特比算法输出概率最高的标签序列。

3.根据权利要求2所述的基于关联记忆网络的中文细粒度命名实体识别装置，其特征在于，所述输入层模块包括输入句子S、句子S在训练集中对应的n个记忆句子和所述n个记忆句子对应的标签序列；

所述输入层模块通过计算两个句子词性序列编辑距离的方法计算句子的距离，其包括通过计算句子S和训练集中所有句子的距离，选择前n个与句子S距离最近的句子和这n个句子对应的标签序列存入记忆单元中。

4.根据权利要求2或3任一所述的基于关联记忆网络的中文细粒度命名实体识别装置，其特征在于，所述输入层模块计算句子的距离还包括通过计算实体类别距离的方法实现，其包括先通过文本多标签预测模型预测句子中可能包含的实体类别；然后将训练集中与输入句子包含的实体类别最相近的句子存储在记忆单元中。

5.根据权利要求4所述的基于关联记忆网络的中文细粒度命名实体识别装置，其特征在于，所述嵌入层模块包括使用预训练语言模型对句子中的字符进行上下文嵌入和对记忆句子的标签序列进行标签嵌入两部分，实现将句子的字符映射到同一个语义空间中。

6.根据权利要求5所述的基于关联记忆网络的中文细粒度命名实体识别装置，其特征在于，所述使用预训练语言模型对句子中的字符进行上下文嵌入包括通过预训练语言模型分别对所述输入句子S和对应的所述n个记忆句子进行上下文嵌入，捕获每个字符在给定句子中的上下文信息，得到所述输入句子S的嵌入向量表示和对应的所述n个记忆句子的嵌入向量表示

其中，i为输入句子S第i个位置的下标，j为第j个记忆句子的下标，x为句子中的字符序列，l_s为输入句子的长度，l_j为第j个记忆句子的长度，x_i为输入句子的第i个字符，x_j,k为第j个记忆句子的第k个字符。