[发明专利]一种命名实体识别方法、装置、设备和机器可读介质

说明书

本申请实施例提供了一种命名实体识别方法、装置、设备和机器可读介质，所述的方法包括：将待识别文本切分为多个语言单元；在所述多个语言单元中，计算任意两个相邻的语言单元之间的距离；依据所述任意两个相邻的语言单元之间的距离，对所述多个语言单元进行合并，得到一个或多个合并后的语言单元；根据所述一个或多个合并后的语言单元分别对应的实体信息，确定所述待识别文本对应的实体识别结果。本申请实施例可以提高命名实体识别的效率。

技术领域

本申请涉及通信技术领域，特别是涉及一种命名实体识别方法、一种命名实体识别装置、一种设备和一种机器可读介质。

背景技术

随着计算机的普及以及互联网的迅猛发展，大量的信息以电子文档的形式出现。为了应对信息爆炸带来的严峻挑战，需要自动化工具从海量的数据中提取真正有价值的信息，信息抽取应运而生。命名实体指的是文本中具有特定意义的实体，例如人名、地名、机构名、专有名词等。命名实体识别(NER，Named Entity Recognition)命名实体识别在信息抽取中扮演重要角色，其能够对文本中表示命名实体的专有名词进行精确识别和分类，进一步地为自动问答、意见挖掘、语义分析等众多自然语言处理任务提供重要的语义支撑。

命名实体通常以连续字符的表现形式存在。不可避免地，命名实体存在嵌套现象，即在一个命名实体内部，存在着多个具有嵌套结构的实体，如“北京大学的燕园”包括：“北京大学”、“燕园”以及“北京大学的燕园”等命名实体。由嵌套结构产生的不同实体往往富含不同的语义信息，为提高原始文本语义的完整性，对多层嵌套的多个实体进行有效的识别和分类是必要的。

为了识别具有嵌套结构的实体，目前的命名实体方法采用多层次的长短期记忆(LSTM，Long Short-term memory)模型，其中，第一层LSTM预测最内层的实体，第二层LSTM预测次内层的实体，以此类推，最后一层LSTM预测最外层的实体。

在实际应用中，多层次的LSTM通常具有较高的复杂度，使得命名实体识别的效率较低。

发明内容

本申请实施例所要解决的技术问题是提供一种命名实体识别方法，可以提高命名实体识别的效率。

相应的，本申请实施例还提供了一种命名实体识别装置、一种装置以及一种机器可读介质，用以保证上述方法的实现及应用。

为了解决上述问题，本申请实施例公开了一种命名实体识别方法，包括：

将待识别文本切分为多个语言单元；

在所述多个语言单元中，计算任意两个相邻的语言单元之间的距离；

依据所述任意两个相邻的语言单元之间的距离，对所述多个语言单元进行合并，得到一个或多个合并后的语言单元；

根据所述一个或多个合并后的语言单元分别对应的实体信息，确定所述待识别文本对应的实体识别结果。

另一方面，本申请实施例还公开了一种命名实体识别装置，所述装置包括：

切分模块，用于将待识别文本切分为多个语言单元；

距离计算模块，用于在所述多个语言单元中，计算任意两个相邻的语言单元之间的距离；

合并模块，用于依据所述任意两个相邻的语言单元之间的距离，对所述多个语言单元进行合并，得到一个或多个合并后的语言单元；以及

结果确定模块，用于根据所述一个或多个合并后的语言单元分别对应的实体信息，确定所述待识别文本对应的实体识别结果。

再一方面，本申请实施例还公开了一种设备，包括：

一个或多个处理器；和